Backpressure

Příklady z praxe

1. 01

   Node.js stream zapisuje pomaleji než čte

   Aplikace čte velký soubor a komprimovaná data zapisuje do pomalejšího cíle. Metoda zápisu vrátí hodnotu, která říká, že interní buffer je plný, takže kód počká na událost drain. Výsledkem je stabilní spotřeba paměti místo nekontrolovaného hromadění chunků.

   import { once } from 'node:events';
   
   for await (const chunk of source) {
     if (!writable.write(chunk)) {
       await once(writable, 'drain');
     }
   }
   writable.end();

2. 02

   Import do databáze s omezenou frontou

   Importní služba stahuje objednávky z API a ukládá je do databáze, která se při špičce zpomalí. Bounded fronta se zaplní, workers přestanou přebírat další stránky z API a plánovač importu prodlouží interval mezi požadavky. Import trvá déle, ale databáze ani proces neskončí kvůli přetížení.

Časté omyly

MýtusStačí zvětšit buffer a backpressure není potřeba.

Ve skutečnostiVětší buffer pouze odloží okamžik, kdy se přetížení projeví. Backpressure řeší příčinu tím, že zpomaluje zdroj nebo omezuje množství rozpracované práce.

MýtusBackpressure znamená, že konzument posílá chybu.

Ve skutečnostiBackpressure není nutně chybový stav. Backpressure je řídicí signál, který může vést k čekání, zpomalení nebo odmítnutí nové práce podle toho, co systém dokáže bezpečně zvládnout.

Časté dotazy

Je backpressure totéž co rate limiting?

Backpressure a rate limiting řeší příbuzný problém, ale z jiné strany. Backpressure je zpětný signál od pomalého konzumenta k rychlému producentovi a obvykle reaguje na aktuální kapacitu systému. Rate limiting je pravidlo, které omezuje počet požadavků nebo operací za čas, často už na vstupu do služby. V praxi se oba přístupy doplňují: rate limit chrání hranici systému, backpressure chrání vnitřní zpracování.

Co se stane, když aplikace backpressure ignoruje?

Aplikace bez backpressure obvykle nejdřív vypadá rychle, protože přijímá práci bez čekání. Nevyřízené položky se však začnou hromadit v paměti, frontách nebo otevřených spojeních. Následkem bývá rostoucí latence, garbage collection tlak, timeouty, kaskádové retry a nakonec pád procesu nebo zahlcení závislé služby. Backpressure problém neodstraní, ale zabrání tomu, aby se přetížení nekontrolovaně šířilo.

Musí backpressure vždy zastavit producenta?

Backpressure nemusí vždy znamenat úplné zastavení producenta. Backpressure může snížit rychlost čtení, zmenšit batch, omezit souběžnost, dočasně odmítat méně důležitou práci nebo zahazovat data, u kterých je ztráta přijatelná. Správná reakce závisí na doméně: platební transakce se nesmí tiše zahodit, ale opakovaný telemetrický vzorek často ano.

Kde hledat problém s backpressure při ladění pomalého streamu?

Backpressure se při ladění hledá na hranicích mezi rychlým zdrojem a pomalým cílem. Důležité metriky jsou délka fronty, počet rozpracovaných úloh, čas zápisu, čekání na databázi, počet retry a využití paměti. U streamů je užitečné zkontrolovat, zda kód respektuje signál zaplnění bufferu. U workerů je potřeba ověřit, že počet paralelních úloh má pevný horní limit.

Zdroje

1. Backpressuring in Streams(otevře se v novém okně)Node.js
2. Streams API(otevře se v novém okně)MDN Web Docs
3. Transmission Control Protocol (TCP)(otevře se v novém okně)RFC Editor, 2022

Související pojmy

• Rate limitingRate limiting je řízení toho, kolik požadavků, akcí nebo událostí smí klient provést za určité období. Používá se u API, webových aplikací i interních služeb, aby chránilo kapacitu systému, zpomalilo zneužití a rozdělilo dostupné zdroje spravedlivěji mezi uživatele, aplikace nebo IP adresy.
• BufferováníBufferování je dočasné shromažďování dat ve vyhrazené oblasti paměti (bufferu) mezi dvěma částmi systému, které pracují různou rychlostí nebo po různě velkých dávkách. Zápis se hromadí, dokud se buffer nezaplní nebo dokud ho program nevyprázdní, a teprve pak odchází dál. Cílem je méně drahých operací a plynulejší tok dat.
• Token bucketToken bucket je algoritmus pro řízení rychlosti požadavků, paketů nebo úloh pomocí virtuální nádoby s tokeny. Tokeny se doplňují nastaveným tempem až do maximální kapacity a každá akce je spotřebuje. Díky tomu lze omezit dlouhodobý průměr, ale zároveň povolit krátké nárazové špičky.
• Leaky bucketLeaky bucket je algoritmus pro omezení nebo vyhlazení toku požadavků, paketů či událostí pomocí pomyslného kbelíku, který odtéká stálou rychlostí. Příchozí dávky se ukládají do fronty, přebytky při zaplnění propadnou a výstup zůstává předvídatelný i při nárazové zátěži v API, sítích i zpracování zpráv.
• WebSocketWebSocket je síťový protokol pro dlouhodobé obousměrné spojení mezi klientem a serverem, nejčastěji v prohlížeči nad TCP a TLS. Po úvodním HTTP handshake může obě strany posílat zprávy kdykoli, bez opakovaného zakládání požadavků, takže se hodí pro chaty, živé dashboardy, hry nebo notifikace.
• Automatické škálováníAutomatické škálování je řízení výpočetní kapacity služby podle aktuální nebo očekávané zátěže bez ručního zásahu operátora. Systém přidává či odebírá instance, kontejnery, vlákna nebo jiné prostředky podle metrik a pravidel, aby aplikace zvládla špičky, neplatila zbytečnou rezervu a zůstala stabilní.
• Data pipelineData pipeline je řízený sled kroků, který přesouvá data ze zdrojů do cílového úložiště nebo aplikace a během cesty je čistí, převádí, obohacuje či kontroluje. Používá se v analytice, strojovém učení i provozních systémech, aby data dorazila včas, ve správném formátu a dohledatelně.
• LatenceLatence je doba, která uplyne mezi vysláním požadavku a příchodem odpovědi. Měří se v milisekundách nebo mikrosekundách a skládá se z času na přenos signálu, zpracování na serveru, čekání ve frontách a serializace dat. Latence je nezávislá na propustnosti: rychlá linka může mít vysoké zpoždění a naopak.