Ensemble učení (Ensemble learning)

Příklady z praxe

1. 01

   Random Forest proti jednomu stromu na tabulkových datech

   Model odhadující odchod zákazníka (churn) postavený na jediném rozhodovacím stromu dosahuje na trénovacích datech skvělých výsledků, ale na validaci propadá, protože si zapamatoval jednotlivé zákazníky. Random Forest se stovkou stromů, kde každý vidí jiný bootstrap vzorek a jinou podmnožinu příznaků, dá stabilnější výsledek a méně kolísá mezi jednotlivými běhy křížové validace.

   from sklearn.ensemble import RandomForestClassifier
   from sklearn.model_selection import cross_val_score
   
   model = RandomForestClassifier(n_estimators=300, max_features="sqrt", random_state=0)
   print(cross_val_score(model, X, y, cv=5, scoring="roc_auc").mean())

2. 02

   Stacking v soutěži i v produkci

   Tým skládá predikce gradient boostingu, logistické regrese a malé neuronové sítě do meta-modelu, který se naučí váhy jednotlivých vstupů. Predikce základních modelů musí vzniknout z out-of-fold křížové validace, jinak meta-model dostane příliš optimistické vstupy a v produkci selže. Zisk bývá řádu desetin procenta metriky, což se vyplatí u scoringu úvěrů, ale ne u interního dashboardu.

   from sklearn.ensemble import StackingClassifier
   from sklearn.linear_model import LogisticRegression
   
   stack = StackingClassifier(
       estimators=[("gb", gb_model), ("lr", lr_model)],
       final_estimator=LogisticRegression(),
       cv=5,
   )

Časté omyly

MýtusČím víc modelů do ensemblu přidám, tím lepší výsledek dostanu.

Ve skutečnostiPřínos roste jen do chvíle, kdy nové modely přinášejí novou rozmanitost. Přidávání téměř identických modelů zvyšuje náklady na inferenci, ale přesnost už prakticky nemění.

MýtusEnsemble se nemůže přeučit, protože průměruje.

Ve skutečnostiBagging přeučení skutečně tlumí, ale boosting se při příliš mnoha iteracích nebo vysoké rychlosti učení přeučí velmi ochotně, zvlášť na zašuměných datech. Počet iterací je proto potřeba hlídat validační sadou.

MýtusEnsemble učení je zastaralé, dnes se všechno dělá hlubokými sítěmi.

Ve skutečnostiNa strukturovaných tabulkových datech patří gradient boosting nadále mezi nejsilnější přístupy. Ensemble se navíc běžně používá i nad neuronovými sítěmi, například průměrováním více běhů s odlišnou inicializací.

Časté dotazy

Jaký je rozdíl mezi baggingem a boostingem?

Bagging trénuje modely nezávisle a paralelně, každý na jiném bootstrap vzorku dat, a výsledky průměruje. Snižuje hlavně rozptyl a je odolný vůči šumu. Boosting naopak staví modely sekvenčně, kdy každý další opravuje chyby dosavadního souboru, a snižuje především zkreslení. Boosting obvykle dosahuje vyšší přesnosti, ale je citlivější na šum, odlehlé hodnoty a nastavení hyperparametrů, zejména rychlosti učení a počtu iterací. Bagging lze snadno rozložit na více jader nebo strojů, boosting jen omezeně.

Kdy se ensemble učení nevyplatí nasadit?

Ensemble učení se nevyplatí, když je rozpočet na latenci nebo paměť napjatý a přínos v metrice se pohybuje v desetinách procenta. Nasazení několika modelů znamená delší inferenci, složitější verzování a horší vysvětlitelnost, což bývá problém v regulovaných oborech. Nevyplatí se ani u velmi malých datových sad, kde se rozdíl mezi modely ztratí v šumu validace, a v případech, kdy hlavní chyba pochází z kvality dat nebo špatně zvoleného cíle. Tam pomůže lepší příprava dat, ne další model.

Jak zajistit, aby byly modely v ensemblu dostatečně rozmanité?

Rozmanitost v ensemblu se vytváří několika způsoby: bootstrap vzorkováním trénovacích dat, náhodným výběrem podmnožiny příznaků, různými hodnotami hyperparametrů, odlišnými náhodnými seedy a hlavně kombinací zcela odlišných typů algoritmů. Užitečnou kontrolou je korelace chyb jednotlivých modelů na validační sadě: pokud se blíží jedné, modely se mýlí na stejných místech a ensemble nepřinese téměř nic. Naopak modely s podobnou přesností a nízkou korelací chyb dávají největší zisk při kombinaci.

Lze ensemble učení použít i s neuronovými sítěmi?

Ensemble učení se s neuronovými sítěmi používá běžně. Nejjednodušší varianta je natrénovat stejnou architekturu několikrát s různou inicializací a průměrovat výstupní pravděpodobnosti; této technice se říká deep ensemble a kromě přesnosti zlepšuje i kalibraci a odhad nejistoty. Levnější alternativou je snapshot ensemble, který ukládá modely z různých fází jednoho tréninku, nebo průměrování vah. Nevýhodou zůstávají násobné náklady na trénink i inferenci, které se v produkci často řeší destilací ensemblu do jediné menší sítě.

Zdroje

1. Ensemble learning(otevře se v novém okně)Wikipedia
2. Random Forests(otevře se v novém okně)Machine Learning (Springer), 2001
3. XGBoost: A Scalable Tree Boosting System(otevře se v novém okně)arXiv, 2016
4. Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles(otevře se v novém okně)arXiv, 2016

Související pojmy

• Křížová validaceKřížová validace je postup hodnocení modelu strojového učení, při kterém se data opakovaně rozdělí na trénovací a testovací část a model se vyhodnotí na každé části zvlášť. Výsledné metriky se zprůměrují, takže odhad výkonu méně závisí na jednom náhodném rozdělení dat a lépe odhalí přeučení.
• PřeučeníPřeučení je stav modelu strojového učení, kdy se příliš přizpůsobí trénovacím datům včetně šumu a náhodných detailů. Model pak dosahuje výborných výsledků na známých příkladech, ale zhoršuje se na nových datech, protože místo obecného vzoru si zapamatoval konkrétní trénovací sadu.
• Random forestRandom forest je algoritmus strojového učení, který kombinuje stovky rozhodovacích stromů natrénovaných na náhodných výběrech dat i příznaků a jejich hlasy nebo průměry spojí do jedné predikce. Tímto zprůměrováním potlačí sklon jednotlivého stromu k přeučení a dosahuje stabilních výsledků na tabulkových datech bez náročného ladění.
• A/B testováníA/B testování je řízený experiment, který porovnává dvě varianty stránky, funkce, ceny nebo sdělení na podobných skupinách uživatelů. Měří předem zvolenou metriku, například konverzi nebo retenci, a pomáhá rozhodnout, zda změna skutečně zlepšuje výsledek, nebo zda pozorovaný rozdíl mohl vzniknout náhodou.
• AI agentAI agent je softwarový systém, který pomocí modelu umělé inteligence vnímá zadaný kontext, plánuje další kroky a samostatně volá nástroje nebo služby k dosažení cíle. Na rozdíl od jednorázového promptu udržuje stav úlohy, vyhodnocuje výsledky akcí a může opakovat postup, dokud nesplní zadání nebo nenarazí na limit.
• AI etikaAI etika je obor, který zkoumá, jaké dopady mají systémy umělé inteligence na lidi, a formuluje pravidla pro jejich návrh, trénink a provoz. Řeší zaujatost dat, transparentnost rozhodování, ochranu soukromí, odpovědnost za chybu i bezpečnost modelu. Ve firemní praxi se promítá do interních politik, dokumentace modelů a povinností podle regulace typu AI Act.
• ArbitrážArbitráž je obchodní strategie, která využívá rozdíl v ceně stejného nebo ekonomicky shodného aktiva na různých trzích, místech nebo v různých formách. Trader se snaží levně koupit a současně dráž prodat, aby zisk vznikl z cenové nesrovnalosti, ne z dlouhodobého odhadu směru trhu. V praxi rozhodují poplatky, rychlost, likvidita a riziko vypořádání.
• AtribuceAtribuce je způsob, jak v marketingové analytice přiřadit zásluhu za konverzi jednotlivým kontaktům zákazníka se značkou, například reklamě, e-mailu nebo organickému vyhledávání. Pomáhá odhadnout přínos kanálů a kampaní, ale sama o sobě nedokazuje kauzalitu. Výsledek závisí na datech, pravidlech měření a zvoleném atribučním modelu.