Inference

Příklady z praxe

1. 01

   Klasifikace obrázku v API

   Tým nasazuje klasifikátor obrázků do API pro kontrolu nahraných produktových fotek. Model už je natrénovaný, takže server pouze převede obrázek na tenzor, spustí dopředný průchod a vrátí kategorii s nejvyšším skóre. Režim inference šetří paměť, protože se nepočítají gradienty.

   import torch
   
   model.eval()
   with torch.inference_mode():
       logits = model(input_tensor)
       predicted_class = logits.argmax(dim=1)

2. 02

   Návrh odpovědi v zákaznické podpoře

   E-shop používá jazykový model k návrhu odpovědí zákaznické podpory. Při každém dotazu se text zákazníka vloží do promptu a model vygeneruje návrh odpovědi, který operátor zkontroluje. Kvalita produktu závisí nejen na modelu, ale i na latenci, ceně za tokeny a kontrole nevhodných výstupů.

Časté omyly

MýtusInference je jen jiné slovo pro trénování modelu.

Ve skutečnostiInference používá hotový model k získání výstupu. Trénink mění parametry modelu podle dat a cílové funkce.

MýtusVětší model má vždy lepší inference.

Ve skutečnostiVětší model může být přesnější, ale také pomalejší, dražší a náročnější na paměť. Pro konkrétní produkt může být menší model s dobrým předzpracováním lepší volba.

MýtusKdyž model běží přes API, inference už není technický problém aplikace.

Ve skutečnostiExterní API přesouvá část provozu na poskytovatele, ale aplikace pořád řeší latenci, limity, chybové stavy, cenu, ochranu dat a kvalitu odpovědí.

Časté dotazy

Proč je inference oddělená od tréninku modelu?

Inference používá již naučené parametry modelu a neprovádí zpětnou úpravu vah. Trénink naopak hledá parametry, které zlepší chování modelu na trénovacích datech. Oddělení je důležité pro architekturu systému: trénink může běžet dávkově a dlouho, zatímco inference často odpovídá uživateli v reálném čase a musí splnit limity latence, dostupnosti a ceny.

Co znamená inference latency?

Inference latency znamená dobu mezi přijetím vstupu a dostupným výstupem modelu. Do latence se může počítat předzpracování dat, samotný běh modelu, postprocessing, síťová komunikace i čekání ve frontě. Nízká latence je zásadní u vyhledávání, chatu, doporučování nebo detekce podvodu, kde pomalá odpověď přímo zhoršuje uživatelský zážitek nebo blokuje obchodní proces.

Proč se při inferenci vypínají gradienty?

Vypnutí gradientů při inferenci snižuje paměťovou režii a obvykle zrychluje běh, protože knihovna nemusí ukládat informace nutné pro zpětné šíření chyby. Výstup modelu se tím běžně nemění, pokud zůstane stejný režim vrstev, vstup a numerická přesnost. Produkční kód proto často používá eval režim modelu a kontext určený pro inference.

Kdy stačí pro inference CPU místo GPU?

Inference na CPU dává smysl u malých modelů, nízkého provozu, jednoduchých tabulkových predikcí nebo služeb, kde by GPU zůstávalo většinu času nevyužité. CPU může být také praktičtější pro okrajová zařízení, interní nástroje a levné dávkové zpracování. Výkonnější akcelerátor se vyplatí hlavně u velkých modelů, vysoké propustnosti nebo přísné latence.

Zdroje

1. inference_mode(otevře se v novém okně)PyTorch
2. Run inference with TensorFlow Lite(otevře se v novém okně)TensorFlow
3. Transformers(otevře se v novém okně)Hugging Face
4. Inference(otevře se v novém okně)Wikipedia

Související pojmy

• GPUGPU je specializovaný procesor navržený pro masivně paralelní výpočty, zejména vykreslování grafiky a zpracování maticových operací. Oproti CPU má mnoho jednodušších výpočetních jednotek, které současně provádějí podobné instrukce nad velkým objemem dat, například pixely, vertexy, texturami nebo tenzory ve strojovém učení.
• Kvantizace modeluKvantizace modelu je převod vah a někdy i aktivací neuronové sítě z přesnějšího číselného formátu, typicky 32bitového float, do formátu s menším počtem bitů, například INT8 nebo 4bitového celého čísla. Model tím zabere méně paměti a počítá rychleji, výměnou za malou a měřitelnou ztrátu přesnosti výstupů.
• LatenceLatence je doba, která uplyne mezi vysláním požadavku a příchodem odpovědi. Měří se v milisekundách nebo mikrosekundách a skládá se z času na přenos signálu, zpracování na serveru, čekání ve frontách a serializace dat. Latence je nezávislá na propustnosti: rychlá linka může mít vysoké zpoždění a naopak.
• Trénování modeluTrénování modelu je proces, při kterém algoritmus strojového učení opakovaně upravuje vnitřní parametry (váhy) tak, aby jeho předpovědi na trénovacích datech co nejméně chybovaly. Chybu měří ztrátová funkce, směr úpravy určuje gradient. Výsledkem je model, který se naučené vzory dokáže aplikovat i na data, jež nikdy neviděl.
• Large language modelLarge language model je neuronový jazykový model trénovaný na rozsáhlých textech, který z kontextu předpovídá a generuje posloupnosti tokenů. Používá se pro chat, sumarizaci, překlad, práci s kódem i vyhledávání informací, ale výstupy mohou obsahovat chyby, zkreslení nebo neověřené domněnky.
• Teplota modeluTeplota modelu je parametr vzorkování, který u generativních jazykových modelů řídí, jak moc se pravděpodobnosti dalších tokenů zplošťují před náhodným výběrem. Nízká teplota vede k předvídatelnému a opakovatelnému textu, vysoká teplota zvyšuje rozmanitost i riziko nesmyslů. Teplota nemění naučené znalosti modelu, pouze způsob výběru z jeho rozdělení.
• Open source modelOpen source model je model strojového učení, jehož natrénované váhy si kdokoli může stáhnout, spustit na vlastním hardwaru, upravit a dál šířit podle podmínek přiložené licence. Na rozdíl od uzavřených modelů dostupných jen přes API tak uživatel drží samotné parametry sítě i kontrolu nad tím, kde běží inference.
• A/B testováníA/B testování je řízený experiment, který porovnává dvě varianty stránky, funkce, ceny nebo sdělení na podobných skupinách uživatelů. Měří předem zvolenou metriku, například konverzi nebo retenci, a pomáhá rozhodnout, zda změna skutečně zlepšuje výsledek, nebo zda pozorovaný rozdíl mohl vzniknout náhodou.