Leaky bucket

Příklady z praxe

1. 01

   Ochrana HTTP API před nárazem požadavků

   API přijme během jedné sekundy dvacet požadavků od stejného klienta, ale backend bezpečně zvládá jen pět požadavků za sekundu. Leaky bucket uloží několik prvních požadavků do fronty, postupně je pouští dál a zbytek odmítne s odpovědí 429. Backend zůstane stabilní, ale klient musí počítat s limitem a opakováním později.

   const capacity = 5;
   const intervalMs = 200;
   const queue = [];
   
   function accept(req) {
     if (queue.length >= capacity) return false;
     queue.push(req);
     return true;
   }
   
   setInterval(() => {
     const req = queue.shift();
     if (req) handle(req);
   }, intervalMs);

2. 02

   Vyhlazení provozu na síťové lince

   Router na hraně sítě přijímá krátké špičky paketů z aplikace pro zálohování. Leaky bucket nastaví stálou výstupní rychlost směrem do pomalejší linky, takže provoz nezahltí další zařízení. Pokud špička trvá příliš dlouho a kapacita se zaplní, nadbytečné pakety se zahodí nebo označí podle politiky sítě.

Časté omyly

MýtusLeaky bucket a token bucket jsou totéž.

Ve skutečnostiLeaky bucket a token bucket řeší podobný problém, ale mají jiné chování při nárazové zátěži. Leaky bucket typicky drží stálý odtok, zatímco token bucket může krátkodobě povolit burst z nastřádaných tokenů.

MýtusLeaky bucket vždycky jen zpomalí klienta, nikdy nic nezahodí.

Ve skutečnostiLeaky bucket má omezenou kapacitu. Pokud příchozí tok překročí kapacitu fronty nebo měřiče, implementace může další požadavky odmítnout, pakety zahodit nebo je označit jako nadlimitní.

MýtusStačí nastavit velký bucket a problém se špičkami zmizí.

Ve skutečnostiVelká kapacita pouze přesune problém do čekání ve frontě. Uživatelé mohou dostávat odpovědi pozdě a systém může spotřebovat mnoho paměti, i když počet odmítnutí vypadá nízko.

Časté dotazy

Kdy se leaky bucket používá v API?

Leaky bucket se v API používá hlavně jako rate limiter nebo jako fronta před částí systému, která nesmí dostat příliš mnoho práce najednou. API gateway může přijímat krátké špičky, pouštět požadavky do aplikace stabilním tempem a po zaplnění kapacity vracet chybu 429. Takové chování chrání databázi, externí integrace i aplikační servery.

Zahazuje leaky bucket požadavky?

Leaky bucket může požadavky zahazovat, odmítat nebo pouze zdržovat, záleží na zvolené implementaci. Frontová varianta drží položky do naplnění kapacity a poté další položky odmítne. Měřicí varianta žádnou reálnou frontu mít nemusí a pouze rozhodne, zda je příchozí provoz ještě v povoleném profilu.

Je leaky bucket vhodný pro distribuovaný rate limiting?

Leaky bucket je pro distribuovaný rate limiting použitelný, ale vyžaduje opatrnost. Více aplikačních instancí musí sdílet stav kbelíku, nebo musí mít limit rozdělený tak, aby součet nepřekročil zamýšlenou hodnotu. Bez společného počítání může každá instance povolit vlastní dávku požadavků a celkový limit se nechtěně znásobí.

Zdroje

1. Leaky bucket(otevře se v novém okně)Wikipedia
2. An Informal Management Model for Diffserv Routers(otevře se v novém okně)RFC Editor, 2002
3. A Single Rate Three Color Marker(otevře se v novém okně)RFC Editor, 1999
4. A Two Rate Three Color Marker(otevře se v novém okně)RFC Editor, 1999

Související pojmy

• Rate limitingRate limiting je řízení toho, kolik požadavků, akcí nebo událostí smí klient provést za určité období. Používá se u API, webových aplikací i interních služeb, aby chránilo kapacitu systému, zpomalilo zneužití a rozdělilo dostupné zdroje spravedlivěji mezi uživatele, aplikace nebo IP adresy.
• Token bucketToken bucket je algoritmus pro řízení rychlosti požadavků, paketů nebo úloh pomocí virtuální nádoby s tokeny. Tokeny se doplňují nastaveným tempem až do maximální kapacity a každá akce je spotřebuje. Díky tomu lze omezit dlouhodobý průměr, ale zároveň povolit krátké nárazové špičky.
• Traffic shapingTraffic shaping je technika řízení síťového provozu, která zdržuje odesílání paketů ve frontě tak, aby výsledný tok nepřekročil zvolenou rychlost a tvar. Na rozdíl od policingu, který nadbytečné pakety zahazuje, shaping je vyrovnává v čase pomocí bufferu, čímž snižuje ztrátovost za cenu vyšší latence.
• BackpressureBackpressure je mechanismus, kterým pomalejší část systému dává rychlejší části najevo, že má zpomalit, počkat nebo zahodit část práce. Používá se u streamů, front, sítí a event-driven aplikací, aby se nekonečně nehromadila data v paměti a aby přetížení nespadlo až na celý proces.
• 3D model3D model je digitální reprezentace objektu nebo prostoru ve třech rozměrech, složená z geometrie, materiálů a často i textur, animací či fyzikálních vlastností. Používá se v hrách, filmech, průmyslovém návrhu, architektuře, e-commerce i simulacích, kde software z modelu počítá zobrazení nebo další data.
• Alfa kanálAlfa kanál je složka obrazových dat, která u pixelu určuje míru neprůhlednosti nebo průhlednosti. Doplňuje barevné kanály, typicky RGB, a umožňuje plynulé okraje, stíny, překryvy, masky i skládání vrstev. Hodnota alfa sama neurčuje barvu, ale říká, jak se barva pixelu promíchá s pozadím.
• Alt atributAlt atribut je atribut HTML značky <img>, který nese textovou alternativu obrázku pro situace, kdy uživatel obrázek nevidí. Čtou ho odečítače obrazovky, zobrazí se při nenačtení souboru a vyhledávače z něj odvozují obsah obrázku. Prázdná hodnota alt="" je platná a znamená, že obrázek je čistě dekorativní.
• Anchor textAnchor text je viditelný, klikatelný text odkazu, tedy obsah mezi značkami <a> a </a>. Vyhledávačům i uživatelům popisuje, co najdou na cílové stránce, a spoluurčuje, na jaké dotazy cílová stránka hodnotí. Kvalitní anchor text je krátký, popisný a čitelný i vytržený ze zbytku věty.