Latence je doba, která uplyne mezi vysláním požadavku a příchodem odpovědi. Měří se v milisekundách nebo mikrosekundách a skládá se z času na přenos signálu, zpracování na serveru, čekání ve frontách a serializace dat. Latence je nezávislá na propustnosti: rychlá linka může mít vysoké zpoždění a naopak.
Leaky bucket je algoritmus pro omezení nebo vyhlazení toku požadavků, paketů či událostí pomocí pomyslného kbelíku, který odtéká stálou rychlostí. Příchozí dávky se ukládají do fronty, přebytky při zaplnění propadnou a výstup zůstává předvídatelný i při nárazové zátěži v API, sítích i zpracování zpráv.
Load balancer je síťová nebo aplikační komponenta, která rozděluje příchozí provoz mezi více serverů nebo služeb. Zvyšuje dostupnost, umožňuje škálování a chrání uživatele před výpadkem jedné instance tím, že směruje požadavky jen na cíle, které podle kontrol zdraví a zvolené strategie dokážou odpovědět.
Logování je průběžné zapisování událostí, které v běžícím programu nastaly, do textového nebo strukturovaného záznamu. Každý zápis obsahuje čas, závažnost a popis události, případně kontext jako identifikátor požadavku. Logy slouží k vyšetřování chyb, sledování provozu a auditu, protože jsou často jedinou stopou po tom, co se v produkci skutečně stalo.