Křížová validace (cross-validation)

Příklady z praxe

1. 01

   Pětinásobná CV při výběru modelu

   Tým srovnává logistickou regresi a gradient boosting na datasetu 4 000 objednávek pro predikci storna. Na jednom náhodném rozdělení vychází boosting o 3 body lépe, ale pětinásobná křížová validace ukáže průměr 0,81 proti 0,80 se směrodatnou odchylkou 0,04. Rozdíl je menší než rozptyl mezi foldy, takže tým zvolí jednodušší a rychlejší model.

   from sklearn.model_selection import cross_val_score, StratifiedKFold
   
   cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
   skore = cross_val_score(model, X, y, cv=cv, scoring="roc_auc")
   print(skore.mean(), skore.std())

2. 02

   Únik informace přes škálování

   Analytik nejprve normalizuje všech 10 000 řádků najednou a teprve potom pustí křížovou validaci. Průměr a rozptyl použité k normalizaci se ale spočítaly i z testovacích foldů, takže model o nich nepřímo ví. Skóre vyjde o dva body vyšší než na produkčních datech. Řešením je zabalit škálování a model do pipeline, kterou CV trénuje uvnitř každého foldu zvlášť.

   from sklearn.pipeline import make_pipeline
   from sklearn.preprocessing import StandardScaler
   
   pipe = make_pipeline(StandardScaler(), model)
   skore = cross_val_score(pipe, X, y, cv=5)

Časté omyly

MýtusKdyž použiju křížovou validaci, samostatnou testovací sadu už nepotřebuju.

Ve skutečnostiKřížová validace slouží k porovnávání a ladění, a jakmile se podle jejího skóre rozhoduje, přestává být nestranným odhadem. Pro finální číslo je potřeba data, která do rozhodování nevstoupila, nebo vnořená křížová validace.

MýtusVyšší k je vždycky lepší, ideálně leave-one-out.

Ve skutečnostiVyšší k snižuje zkreslení odhadu, ale zvyšuje jeho rozptyl a výpočetní náklady rostou lineárně s k. V praxi se k = 5 nebo 10 osvědčuje jako rozumný kompromis.

MýtusKřížová validace zabrání přeučení.

Ve skutečnostiKřížová validace přeučení pouze změří a zviditelní. Odstranit ho musí regularizace, jednodušší model, více dat nebo lepší rysy.

Časté dotazy

Jaké k zvolit u křížové validace?

Pro většinu úloh se u křížové validace volí k = 5 nebo k = 10. Nižší k trénuje rychleji, ale každý model vidí méně dat a odhad bývá pesimistický. Vyšší k dává méně zkreslený odhad za cenu úměrně delšího výpočtu a vyššího rozptylu mezi jednotlivými běhy. U velmi malých datasetů, řádově desítky vzorků, se sahá po leave-one-out, kde k odpovídá počtu řádků. U velkých datasetů a drahého trénování, například u neuronových sítí, se často vystačí s jedním pevným validačním rozdělením, protože šum odhadu je díky objemu dat malý.

Který model se po křížové validaci nasadí do produkce?

Po křížové validaci se do produkce nenasazuje žádný z k modelů natrénovaných během validace. Křížová validace slouží k výběru algoritmu a hyperparametrů; jakmile je konfigurace vybraná, model se natrénuje znovu, tentokrát na všech dostupných trénovacích datech. Výsledný model tak vidí víc příkladů než kterýkoli model z foldů a jeho očekávaný výkon je stejný nebo lepší. Alternativou je ponechat si všech k modelů a jejich předpovědi průměrovat jako ansámbl, což bývá o něco přesnější, ale znamená k-násobné náklady na inferenci.

Jak dělat křížovou validaci u časových řad?

U časových řad se křížová validace nesmí dělat náhodným zamícháním, protože model by trénoval na budoucnosti a testoval na minulosti. Používá se postup s rozšiřujícím se nebo klouzavým oknem: každý fold trénuje na datech do určitého okamžiku a testuje na následujícím úseku. Mezi trénovací a testovací část se často vkládá mezera odpovídající horizontu predikce, aby se zabránilo úniku informace přes autokorelaci. Knihovna scikit-learn tenhle režim nabízí jako TimeSeriesSplit. Stejná opatrnost platí u dat seskupených podle uživatele nebo pacienta, kde musí celá skupina zůstat v jednom foldu.

Kdy křížová validace nedává smysl?

Křížová validace nedává smysl tam, kde je trénování příliš drahé, například u velkých jazykových modelů nebo hlubokých sítí trénovaných desítky hodin; tam stačí jedno pevné validační rozdělení. Nevhodná je také u dat se silnou strukturou, kterou náhodné rozdělení poruší: duplicitní záznamy, více řádků od stejného uživatele nebo sezónní efekty vedou k úniku informace a příliš optimistickému odhadu. A konečně nepomůže, když trénovací data nereprezentují prostředí, kde model poběží, protože opakované vzorkování zkreslený vzorek nenapraví.

Zdroje

1. Cross-validation (statistics)(otevře se v novém okně)Wikipedia
2. A Study of Cross-Validation and Bootstrap for Accuracy Estimation and Model Selection(otevře se v novém okně)ACM Digital Library, 1995
3. PyTorch Documentation(otevře se v novém okně)PyTorch
4. arXiv: Machine Learning (stat.ML)(otevře se v novém okně)arXiv

Související pojmy

• PřeučeníPřeučení je stav modelu strojového učení, kdy se příliš přizpůsobí trénovacím datům včetně šumu a náhodných detailů. Model pak dosahuje výborných výsledků na známých příkladech, ale zhoršuje se na nových datech, protože místo obecného vzoru si zapamatoval konkrétní trénovací sadu.
• Trénovací dataTrénovací data je odborné označení pro datovou sadu, ze které se model strojového učení učí vztahy mezi vstupy a očekávanými výstupy. Mohou obsahovat texty, obrázky, tabulky, zvuk nebo události z aplikace. Jejich kvalita, reprezentativnost a správné oddělení od testovacích dat zásadně ovlivňují spolehlivost modelu.
• Učení s učitelemUčení s učitelem je způsob strojového učení, při němž model trénuje na vstupech spárovaných se správnými odpověďmi nebo štítky. Algoritmus se učí mapovat data na cílovou hodnotu a jeho úspěch se měří na oddělených datech, která model při tréninku neviděl.
• HyperparametrHyperparametr je nastavení modelu strojového učení, které volí člověk nebo automatický vyhledávač před samotným trénováním a které se z dat neučí. Patří sem rychlost učení, počet vrstev, hloubka stromu, velikost dávky nebo síla regularizace. Hodnoty vah se naopak během trénování mění: to jsou parametry, nikoli hyperparametry.
• Confusion matrixConfusion matrix je tabulka, která porovnává předpovědi klasifikačního modelu se skutečnými třídami a rozděluje je na správné a chybné případy. U dvou tříd obsahuje čtyři čísla: true positive, true negative, false positive a false negative. Z těchto čtyř hodnot se počítá accuracy, precision, recall i F1 skóre.
• Random forestRandom forest je algoritmus strojového učení, který kombinuje stovky rozhodovacích stromů natrénovaných na náhodných výběrech dat i příznaků a jejich hlasy nebo průměry spojí do jedné predikce. Tímto zprůměrováním potlačí sklon jednotlivého stromu k přeučení a dosahuje stabilních výsledků na tabulkových datech bez náročného ladění.
• Trénování modeluTrénování modelu je proces, při kterém algoritmus strojového učení opakovaně upravuje vnitřní parametry (váhy) tak, aby jeho předpovědi na trénovacích datech co nejméně chybovaly. Chybu měří ztrátová funkce, směr úpravy určuje gradient. Výsledkem je model, který se naučené vzory dokáže aplikovat i na data, jež nikdy neviděl.
• Ensemble učeníEnsemble učení je postup ve strojovém učení, při kterém se predikce několika samostatně natrénovaných modelů spojí do jedné výsledné odpovědi, typicky hlasováním nebo průměrem. Kombinace zpravidla chybuje méně než jednotlivé modely, protože jejich chyby se částečně vyruší. Patří sem bagging, boosting, stacking a náhodné lesy.