Regrese (Regression)

Příklady z praxe

1. 01

   Odhad ceny bytu z historických inzerátů

   Realitní portál má 40 tisíc uzavřených transakcí s výměrou, dispozicí, patrem a lokalitou. Lineární regrese s logaritmovanou cenou dá základní model, gradient boosting nad stejnými příznaky sníží RMSE zhruba na polovinu. Kontrolou je RMSE na datech z pozdějšího období, ne na náhodně rozděleném vzorku, protože ceny v čase driftují.

   from sklearn.linear_model import Ridge
   from sklearn.metrics import mean_squared_error, r2_score
   
   model = Ridge(alpha=1.0).fit(X_train, y_train)
   pred = model.predict(X_test)
   
   print(mean_squared_error(y_test, pred, squared=False))  # RMSE v Kc
   print(r2_score(y_test, pred))

2. 02

   Predikce doby doručení v e-shopu

   E-shop chce zákazníkovi ukázat konkrétní počet hodin do doručení, ne jen „do tří dnů“. Cílovou proměnnou je naměřený čas mezi expedicí a předáním, příznaky jsou dopravce, PSČ, den v týdnu a hmotnost. Zde se vyplatí MAE místo MSE: jedna zásilka zaseklá na týden by kvadratickou chybou stáhla model k pesimismu pro všechny ostatní.

Časté omyly

MýtusVysoké R² znamená, že model je dobrý.

Ve skutečnostiR² měří jen podíl vysvětleného rozptylu na daných datech a roste s každým přidaným příznakem, i s náhodným. Vypovídající je až R² nebo RMSE na datech, která model při tréninku neviděl.

MýtusZáporný koeficient u proměnné dokazuje, že ta proměnná hodnotu snižuje.

Ve skutečnostiKoeficient popisuje statistickou asociaci v konkrétním vzorku při daném složení ostatních příznaků. Při multikolinearitě nebo chybějící zmatující proměnné může znaménko klidně otočit, aniž by se cokoli změnilo v realitě.

MýtusRegrese je vždy jen přímka.

Ve skutečnostiLineární regrese je lineární v koeficientech, ne nutně ve vstupech. Po přidání mocnin, logaritmů nebo interakcí modeluje zakřivené vztahy a stromové či neuronové regresory nejsou omezené vůbec.

Časté dotazy

Kolik dat potřebuje regresní model?

Regresní model potřebuje řádově víc pozorování než příznaků. U lineární regrese se jako pracovní minimum uvádí několik desítek vzorků na jeden příznak, jinak koeficienty jen kopírují náhodu ve vzorku. Stromové ansámbly a neuronové sítě mají mnohem víc volných parametrů, takže při stovkách řádků obvykle přeučí. Rozhoduje ale i poměr signálu k šumu: u čistě naměřené fyzikální veličiny stačí málo bodů, u lidského chování s velkým rozptylem ani desetitisíce řádků nemusí stačit na stabilní odhad.

Jak poznám, že mám místo regrese použít klasifikaci?

Rozhodující je povaha cílové proměnné a to, jak se s výstupem naloží. Když je odpověď číslo na spojité škále a záleží na tom, o kolik se model netrefil, jde o regresi. Když je odpověď jedna z několika kategorií, patří úloha klasifikaci. Hraniční případ je uměle diskretizovaný cíl, například „levné, střední, drahé“ podle ceny: tady se obvykle vyplatí modelovat regresí původní číslo a prahy aplikovat až na predikci, protože binování před tréninkem zahazuje informaci.

Proč mi model funguje na trénovacích datech a v provozu ne?

Nejčastější příčinou je přeučení: model si zapamatoval šum trénovacího vzorku místo obecného vztahu. Druhou příčinou je únik informace, kdy se do příznaků dostane veličina, která v okamžiku predikce ještě neexistuje. Třetí je posun distribuce, kdy se realita od doby sběru dat změnila. Pomáhá držet oddělenou testovací sadu, u časových dat dělit podle času a ne náhodně, přidat regularizaci a v provozu průběžně měřit chybu proti skutečně naměřeným hodnotám.

Co znamená regrese v testování softwaru?

Regrese v testování softwaru znamená, že nová změna kódu rozbila funkčnost, která dříve fungovala, nebo vrátila již opravenou chybu. Regresní testy jsou sada automatizovaných testů pokrývajících existující chování, kterou CI pipeline spouští po každém commitu nebo před vydáním. Typickým postupem je, že se ke každé nahlášené chybě dopíše test, který ji reprodukuje; ten pak trvale hlídá, aby se stejný problém nevrátil. S tímto významem nemá statistická regrese nic společného kromě jména.

Zdroje

1. Regression analysis(otevře se v novém okně)Wikipedia
2. Ordinary least squares(otevře se v novém okně)Wikipedia
3. Introduction to Machine Learning Problem Framing(otevře se v novém okně)Google for Developers
4. PyTorch Documentation(otevře se v novém okně)PyTorch

Související pojmy

• KlasifikaceKlasifikace je úloha strojového učení, při níž model přiřazuje vstupům jednu nebo více předem daných tříd. Používá se například pro spam, detekci podvodů, rozpoznávání obrázků nebo třídění zákaznických zpráv. Model se učí ze štítkovaných dat a jeho výstupem bývá třída, skóre nebo pravděpodobnost.
• PřeučeníPřeučení je stav modelu strojového učení, kdy se příliš přizpůsobí trénovacím datům včetně šumu a náhodných detailů. Model pak dosahuje výborných výsledků na známých příkladech, ale zhoršuje se na nových datech, protože místo obecného vzoru si zapamatoval konkrétní trénovací sadu.
• Regresní testováníRegresní testování je ověřování, že nová změna softwaru neporušila funkce, které už dříve fungovaly. Používá se po opravách chyb, refaktoringu, změnách závislostí i před vydáním verze a typicky kombinuje automatizované testy s cílenou ruční kontrolou rizikových scénářů. Smyslem je rychle odhalit návrat staré chyby nebo nečekaný vedlejší efekt.
• Ztrátová funkceZtrátová funkce je předpis, který převádí rozdíl mezi předpovědí modelu a skutečnou hodnotou na jediné číslo vyjadřující, jak moc se model spletl. Trénink strojového učení pak spočívá v hledání parametrů, které tuto hodnotu minimalizují. Volba ztrátové funkce určuje, jaké chyby model považuje za drahé, a tím i jeho výsledné chování.
• Učení s učitelemUčení s učitelem je způsob strojového učení, při němž model trénuje na vstupech spárovaných se správnými odpověďmi nebo štítky. Algoritmus se učí mapovat data na cílovou hodnotu a jeho úspěch se měří na oddělených datech, která model při tréninku neviděl.
• A/B testováníA/B testování je řízený experiment, který porovnává dvě varianty stránky, funkce, ceny nebo sdělení na podobných skupinách uživatelů. Měří předem zvolenou metriku, například konverzi nebo retenci, a pomáhá rozhodnout, zda změna skutečně zlepšuje výsledek, nebo zda pozorovaný rozdíl mohl vzniknout náhodou.
• AI agentAI agent je softwarový systém, který pomocí modelu umělé inteligence vnímá zadaný kontext, plánuje další kroky a samostatně volá nástroje nebo služby k dosažení cíle. Na rozdíl od jednorázového promptu udržuje stav úlohy, vyhodnocuje výsledky akcí a může opakovat postup, dokud nesplní zadání nebo nenarazí na limit.
• AI etikaAI etika je obor, který zkoumá, jaké dopady mají systémy umělé inteligence na lidi, a formuluje pravidla pro jejich návrh, trénink a provoz. Řeší zaujatost dat, transparentnost rozhodování, ochranu soukromí, odpovědnost za chybu i bezpečnost modelu. Ve firemní praxi se promítá do interních politik, dokumentace modelů a povinností podle regulace typu AI Act.