Connection pool (fond připojení)

Příklady z praxe

1. 01

   Node.js aplikace proti PostgreSQL

   Webová aplikace v Node.js obsluhuje stovky požadavků za sekundu, ale databáze má limit 100 spojení. Pool s maximem 10 na instanci a acquire timeoutem 5 sekund udrží deset běžících kontejnerů bezpečně pod limitem. Při špičce požadavky krátce čekají ve frontě místo toho, aby databázi zahltily.

   import { Pool } from 'pg';
   
   const pool = new Pool({
     connectionString: process.env.DATABASE_URL,
     max: 10,
     idleTimeoutMillis: 30_000,
     connectionTimeoutMillis: 5_000,
   });
   
   // spojení se automaticky vrátí do fondu
   const { rows } = await pool.query('SELECT id FROM orders WHERE status = $1', ['new']);

2. 02

   Zapomenuté vrácení spojení vyčerpá fond

   Vývojář si vypůjčí spojení kvůli transakci, ale při výjimce chybí uvolnění ve finally. Pool se během několika minut provozu vyprázdní a aplikace začne padat na timeoutech, přestože databáze je nevytížená. Typický příznak je stoupající počet čekajících požadavků při nulovém zatížení serveru.

   const client = await pool.connect();
   try {
     await client.query('BEGIN');
     await client.query('UPDATE accounts SET balance = balance - 100 WHERE id = $1', [id]);
     await client.query('COMMIT');
   } catch (e) {
     await client.query('ROLLBACK');
     throw e;
   } finally {
     client.release(); // bez tohoto řádku pool postupně vyschne
   }

Časté omyly

MýtusČím větší pool nastavím, tím víc požadavků aplikace zvládne.

Ve skutečnostiPropustnost limituje počet jader a diskové I/O databáze, ne počet spojení. Nad určitou hranicí přidané spojení jen zvyšuje soupeření o zdroje a prodlužuje latenci všem. Menší pool s frontou obvykle dává lepší a stabilnější časy odezvy.

MýtusConnection pool řeší i to, že se databáze restartuje nebo přepne na repliku.

Ve skutečnostiPool může držet spojení, která už na druhé straně neexistují nebo míří na starý uzel. Proto se nastavuje maximální životnost spojení a validace před zapůjčením; bez toho aplikace po failoveru vrací chyby, dokud se fond sám neobmění.

MýtusServerless funkce pool nepotřebuje, protože běží jen chvíli.

Ve skutečnostiServerless prostředí naopak pooling potřebuje nejvíc, jen ne uvnitř funkce. Každá souběžná instance si otevírá vlastní spojení, takže se limit databáze vyčerpá velmi rychle. Řešením je externí pooler nebo přístup přes HTTP datové API.

Časté dotazy

Jak velký connection pool nastavit?

Velikost connection poolu se odvozuje od kapacity databáze, ne od počtu uživatelů. Vyjděte z počtu jader databázového serveru a povahy zátěže: u dotazů vázaných na CPU stačí řádově jednotky spojení na instanci, u zátěže čekající na disk nebo síť o něco víc. Klíčové je, aby součet maxim přes všechny instance aplikace, cron úlohy, migrace a analytické nástroje zůstal bezpečně pod limitem databáze. Konečné číslo pak ověřte zátěžovým testem a sledujte dobu čekání na zapůjčení spojení.

Co znamená chyba pool timeout nebo too many connections?

Pool timeout znamená, že požadavek čekal déle, než dovoluje acquire timeout, a žádné spojení se neuvolnilo. Nejčastější příčiny jsou tři: nevrácená spojení kvůli chybějícímu release, příliš pomalé dotazy držící spojení dlouho, nebo prostě víc souběžných požadavků než míst ve fondu. Chyba too many connections přichází naopak přímo z databáze a znamená, že součet spojení všech klientů překročil server limit. První krok je vždy změřit, kolik spojení jednotlivé instance skutečně drží.

Kdy nasadit externí pooler místo poolu v aplikaci?

Externí pooler jako PgBouncer nebo RDS Proxy dává smysl ve chvíli, kdy k jedné databázi přistupuje mnoho krátce žijících procesů: serverless funkce, kontejnery s agresivním autoscalingem, více mikroslužeb nebo dávkové úlohy. V takové situaci nelze součet aplikačních poolů rozumně ohraničit. Pooler drží vůči databázi malý počet fyzických spojení a klientům nabízí mnohem větší počet logických. Daní je omezení v transakčním režimu, kde nefungují prepared statements vázané na session, dočasné tabulky ani advisory zámky.

Potřebuje connection pool i aplikace s HTTP API nebo Redisem?

Connection pooling se nepoužívá jen u relačních databází. Stejný princip aplikují HTTP klienti s keep-alive spojeními, klienti Redisu, message brokerů i gRPC kanály. Všude jde o totéž: vyhnout se opakovanému handshaku a omezit počet souběžných spojení proti službě. Rozdíl je v ceně jednoho spojení. Redis nebo HTTP server unese tisíce spojení mnohem snáz než PostgreSQL, takže tam bývají limity volnější, ale úplně bez horní hranice by se i tak dalo protistranu vyčerpat.

Zdroje

1. PostgreSQL Documentation: Server Configuration(otevře se v novém okně)PostgreSQL Global Development Group, 2024
2. Amazon RDS Proxy(otevře se v novém okně)Amazon Web Services
3. Cloud SQL documentation: Manage database connections(otevře se v novém okně)Google Cloud
4. Redis documentation(otevře se v novém okně)Redis

Související pojmy

• BackpressureBackpressure je mechanismus, kterým pomalejší část systému dává rychlejší části najevo, že má zpomalit, počkat nebo zahodit část práce. Používá se u streamů, front, sítí a event-driven aplikací, aby se nekonečně nehromadila data v paměti a aby přetížení nespadlo až na celý proces.
• ServerlessServerless je cloudový model, ve kterém vývojář nasazuje funkce nebo služby bez správy konkrétních serverů, operačního systému a škálování infrastruktury. Poskytovatel automaticky přiděluje prostředky podle událostí nebo provozu a účtuje hlavně skutečné spuštění, čas běhu nebo spotřebované zdroje, což zjednodušuje provoz, ale mění ladění, výkon i náklady.
• ACIDACID je sada čtyř vlastností databázové transakce: atomicity, consistency, isolation a durability. Zaručuje, že skupina zápisů proběhne jako jeden celek, neporuší definovaná pravidla databáze, nebude se nebezpečně míchat s jinými transakcemi a po potvrzení přežije pád systému, například při převodu peněz.
• Adaptive IconAdaptivní ikona je formát ikony aplikace na Androidu, který se místo jedné hotové bitmapy skládá z oddělených vrstev: pozadí a popředí. Systém výsledný tvar sám ořízne podle masky výrobce zařízení a může vrstvy animovat nebo přebarvit. Vývojář tak dodá jeden zdroj a launcher z něj vytvoří kruh, čtverec i squircle.
• Adresa v pamětiAdresa v paměti je číslo, kterým procesor jednoznačně označuje konkrétní buňku operační paměti, obvykle jeden bajt. Program pomocí adresy říká, odkud má data načíst nebo kam je zapsat. Adresy tvoří souvislý číselný rozsah, jehož velikost určuje šířka adresní sběrnice a architektura, typicky 32 nebo 64 bitů.
• AI agentAI agent je softwarový systém, který pomocí modelu umělé inteligence vnímá zadaný kontext, plánuje další kroky a samostatně volá nástroje nebo služby k dosažení cíle. Na rozdíl od jednorázového promptu udržuje stav úlohy, vyhodnocuje výsledky akcí a může opakovat postup, dokud nesplní zadání nebo nenarazí na limit.
• AndroidAndroid je operační systém postavený nad linuxovým jádrem, který vyvíjí Google a otevřeně uvolňuje jako projekt AOSP. Android pohání převážnou většinu chytrých telefonů, dále tablety, televize, hodinky i palubní systémy aut. Aplikace se pro něj píší hlavně v Kotlinu nebo Javě a distribuují přes Google Play i alternativní obchody.
• APIAPI je smluvené rozhraní, přes které spolu dva programy komunikují, aniž by jeden musel znát vnitřní fungování druhého. Definuje, jaké operace lze volat, jaká data se posílají a co se vrátí zpět.