Trénování modelu (model training)

Příklady z praxe

1. 01

   Klasifikace produktových fotek v e-shopu

   E-shop má 12 000 nafocených produktů a chce je automaticky zařazovat do kategorií. Místo trénování konvoluční sítě od nuly se vezme model předtrénovaný na ImageNetu, poslední vrstva se nahradí a doladí se na vlastních datech. Trénovací přesnost vyskočí na 99 %, ale validační se zasekne na 84 %: model se naučil rozeznávat pozadí konkrétního fotoateliéru, ne produkt. Pomůže augmentace (výřezy, otočení, změna jasu) a rozšíření sady o fotky z jiného osvětlení.

2. 02

   Trénovací smyčka v PyTorchi

   Minimální smyčka ukazuje čtyři kroky, které se opakují u každé dávky: vynulování gradientů, dopředný průchod, výpočet ztráty a krok optimalizátoru. Bez volání zero_grad() se gradienty sčítají napříč dávkami a trénování se rozpadne. Validace běží v režimu bez počítání gradientů, protože se při ní žádné váhy nemění.

   for epoch in range(epochs):
       model.train()
       for x, y in train_loader:
           optimizer.zero_grad()
           loss = criterion(model(x), y)
           loss.backward()
           optimizer.step()
   
       model.eval()
       with torch.no_grad():
           val_loss = sum(criterion(model(x), y) for x, y in val_loader)

Časté omyly

MýtusČím déle model trénuju, tím bude lepší.

Ve skutečnostiPo určitém bodě začne validační chyba růst, i když trénovací dál klesá. Model si zapamatovává jednotlivé vzorky včetně šumu. Proto se používá early stopping a ukládá se checkpoint s nejlepší validační metrikou, ne poslední stav.

MýtusTrénování modelu a jeho použití je totéž, jen se to jinak jmenuje.

Ve skutečnostiTrénování mění parametry modelu a je řádově dražší a pomalejší. Inference (použití natrénovaného modelu) parametry nemění a probíhá jediným dopředným průchodem. Model se typicky trénuje jednou za čas a inferuje milionkrát denně.

MýtusPřesnost 98 % na testu znamená, že model je připravený do produkce.

Ve skutečnostiVysoké číslo často znamená nevyvážené třídy nebo únik informace z testovací sady do trénovací. U dat, kde 98 % vzorků patří do jedné třídy, dosáhne stejné přesnosti i model, který vždy hádá většinovou odpověď.

Časté dotazy

Kolik dat je potřeba na trénování modelu?

Množství dat pro trénování modelu závisí na složitosti úlohy a na tom, jestli se trénuje od nuly nebo se dolaďuje předtrénovaný model. Doladění klasifikátoru obrázků může fungovat od několika set označených vzorků na třídu, instrukční doladění jazykového modelu od nižších tisíců příkladů. Trénování velkého modelu od náhodné inicializace vyžaduje miliardy tokenů nebo miliony obrázků. Praktické vodítko: postavte křivku učení, tedy graf validační metriky proti velikosti trénovací sady. Pokud metrika s přibývajícími daty stále roste, sběr dalších dat se vyplatí; pokud se vyrovnala, problém je v modelu nebo ve značkování.

Proč ztráta při trénování skáče nebo roste do nekonečna?

Rostoucí nebo oscilující ztráta při trénování modelu má nejčastěji na svědomí příliš vysoký learning rate: kroky optimalizátoru přestřelí minimum a model diverguje. Dalšími podezřelými jsou nenormalizované vstupy, chybějící vynulování gradientů mezi dávkami, nevhodná kombinace aktivační funkce a ztrátové funkce nebo NaN hodnoty v datech. Postup nápravy: snižte learning rate na desetinu, zapněte ořezávání gradientů (gradient clipping), zkontrolujte statistiky vstupů a zkuste přetrénovat model na deseti vzorcích. Pokud model neumí přeučit ani deset vzorků, chyba je v kódu, ne v datech.

Potřebuji na trénování modelu GPU?

GPU není nutné pro klasické modely nad tabulkovými daty, kde gradient boosting nebo lineární modely na CPU doběhnou v řádu minut. Trénování neuronových sítí ale spočívá v maticovém násobení, které GPU zvládá o dva až tři řády rychleji než CPU, takže od velikosti běžné konvoluční sítě výš je akcelerátor prakticky podmínkou. Pro doladění malých modelů stačí jedna pronajatá GPU v cloudu na pár hodin. Trénování velkých jazykových modelů od nuly vyžaduje clustery desítek až tisíců akcelerátorů propojených rychlou sítí.

Jak poznám, že je model natrénovaný dost a můžu skončit?

Trénování modelu se ukončuje podle validační metriky, ne podle počtu epoch. Pokud se sledovaná metrika nezlepší po několik epoch za sebou (trpělivost early stoppingu), běh se zastaví a použije se uložený checkpoint s nejlepším výsledkem. Kromě toho je rozumné mít předem stanovenou cílovou hodnotu odvozenou od byznysu: model, který nepřekoná stávající pravidlové řešení nebo lidského anotátora, nemá smysl nasazovat, i kdyby se ztráta dál zlepšovala. Poslední kontrolou je jediné vyhodnocení na testovací sadě, do které se během ladění nesahalo.

Zdroje

1. PyTorch Documentation(otevře se v novém okně)PyTorch
2. TensorFlow Guide(otevře se v novém okně)TensorFlow
3. Transformers Documentation(otevře se v novém okně)Hugging Face
4. Machine learning(otevře se v novém okně)Wikipedia

Související pojmy

• Fine-tuningFine-tuning je úprava již předtrénovaného modelu strojového učení na menší sadě cílených dat, aby lépe zvládal konkrétní úlohu, doménu nebo styl odpovědí. Místo učení od nuly navazuje na existující znalosti modelu a mění část jeho parametrů nebo přidává malé trénovatelné vrstvy.
• Gradientní sestupGradientní sestup je optimalizační metoda, která postupně mění parametry modelu ve směru nejrychlejšího poklesu ztrátové funkce. V praxi se používá hlavně při trénování modelů strojového učení, kde pomáhá najít váhy s menší chybou, i když prostor možných řešení má miliony rozměrů.
• InferenceInference je fáze, kdy se už natrénovaný model, pravidlový systém nebo jiný mechanismus rozhodování použije na nová vstupní data a vrátí výsledek. Ve strojovém učení jde typicky o predikci, klasifikaci nebo generování odpovědi bez úpravy vah modelu, zatímco náklady řeší latence, paměť a provoz.
• Křížová validaceKřížová validace je postup hodnocení modelu strojového učení, při kterém se data opakovaně rozdělí na trénovací a testovací část a model se vyhodnotí na každé části zvlášť. Výsledné metriky se zprůměrují, takže odhad výkonu méně závisí na jednom náhodném rozdělení dat a lépe odhalí přeučení.
• PřeučeníPřeučení je stav modelu strojového učení, kdy se příliš přizpůsobí trénovacím datům včetně šumu a náhodných detailů. Model pak dosahuje výborných výsledků na známých příkladech, ale zhoršuje se na nových datech, protože místo obecného vzoru si zapamatoval konkrétní trénovací sadu.
• Trénovací dataTrénovací data je odborné označení pro datovou sadu, ze které se model strojového učení učí vztahy mezi vstupy a očekávanými výstupy. Mohou obsahovat texty, obrázky, tabulky, zvuk nebo události z aplikace. Jejich kvalita, reprezentativnost a správné oddělení od testovacích dat zásadně ovlivňují spolehlivost modelu.
• Ztrátová funkceZtrátová funkce je předpis, který převádí rozdíl mezi předpovědí modelu a skutečnou hodnotou na jediné číslo vyjadřující, jak moc se model spletl. Trénink strojového učení pak spočívá v hledání parametrů, které tuto hodnotu minimalizují. Volba ztrátové funkce určuje, jaké chyby model považuje za drahé, a tím i jeho výsledné chování.
• HyperparametrHyperparametr je nastavení modelu strojového učení, které volí člověk nebo automatický vyhledávač před samotným trénováním a které se z dat neučí. Patří sem rychlost učení, počet vrstev, hloubka stromu, velikost dávky nebo síla regularizace. Hodnoty vah se naopak během trénování mění: to jsou parametry, nikoli hyperparametry.