Confusion matrix (matice záměn)

Příklady z praxe

1. 01

   Detekce podvodných plateb v e-shopu

   Model označí 120 z 10 000 transakcí jako podvodné. Skutečných podvodů bylo 100, model z nich zachytil 80 (TP), 20 mu uteklo (FN) a 40 poctivých objednávek zbytečně zablokoval (FP). Recall je 80 %, precision jen 67 %: dvě třetiny zablokovaných zákazníků byly poctivé a někdo je musí odblokovat ručně.

2. 02

   Výpočet matice ve scikit-learn

   Knihovna scikit-learn vrací matici jako pole, kde řádky jsou skutečné třídy a sloupce predikce. Rozbalením do čtyř proměnných získáte přímo TN, FP, FN a TP a můžete si dopočítat vlastní metriku, například očekávanou ztrátu v korunách.

   from sklearn.metrics import confusion_matrix
   
   y_true = [0, 1, 1, 0, 1, 0, 1, 1]
   y_pred = [0, 1, 0, 0, 1, 1, 1, 0]
   
   tn, fp, fn, tp = confusion_matrix(y_true, y_pred).ravel()
   print(tn, fp, fn, tp)  # 2 1 2 3
   
   precision = tp / (tp + fp)   # 0.75
   recall = tp / (tp + fn)      # 0.60

Časté omyly

MýtusModel má 95 % accuracy, takže je dobrý.

Ve skutečnostiAccuracy sama o sobě nic neříká, dokud neznáte rozložení tříd. Při 5 % pozitivních případů dosáhne 95 % i model, který vždy odpoví „negativní“ a nezachytí ani jeden hledaný případ.

MýtusConfusion matrix je jen vizualizace, na výsledek nemá vliv.

Ve skutečnostiConfusion matrix je zdrojová tabulka, ze které se počítá precision, recall, specificita i F1. Volba prahu, která tato čísla mění, je běžné rozhodnutí při nasazení modelu.

MýtusPro více tříd se confusion matrix nedá použít.

Ve skutečnostiPro N tříd má matice rozměr N krát N a bývá ještě užitečnější než u binární úlohy, protože ukazuje, které konkrétní dvojice tříd si model plete.

Časté dotazy

Jak se čte confusion matrix ve scikit-learn?

Ve scikit-learn odpovídají řádky confusion matrix skutečným třídám a sloupce predikcím, přičemž třídy jsou seřazeny vzestupně, pokud není zadán parametr labels. U binární úlohy s hodnotami 0 a 1 tedy metoda ravel() vrátí čtveřici v pořadí TN, FP, FN, TP. Jiné nástroje a učebnice používají opačnou orientaci nebo pořadí tříd, takže před interpretací výstupu je rozumné ověřit konvenci v dokumentaci konkrétní knihovny. Chybná orientace vede k prohození precision a recall, což u nevyvážených dat úplně obrátí závěr.

Kolik dat je potřeba, aby byla confusion matrix vypovídající?

Vypovídací hodnota confusion matrix závisí hlavně na počtu vzorků v nejmenší třídě, ne na celkové velikosti testovací sady. Když je v testovací množině jen deset skutečně pozitivních případů, recall se mění o deset procentních bodů s každým jedním vzorkem a rozdíl mezi dvěma modely je nerozlišitelný od náhody. V takové situaci pomáhá křížová validace, stratifikované rozdělení dat nebo uvedení intervalu spolehlivosti místo jediného čísla.

Jak se z confusion matrix pozná overfitting?

Overfitting se z confusion matrix pozná porovnáním dvou matic: jedné na trénovacích datech a druhé na testovacích. Když je trénovací matice téměř čistě diagonální, zatímco testovací obsahuje výrazné hodnoty mimo diagonálu, model si zapamatoval trénovací vzorky místo obecného vzoru. Samotná testovací matice overfitting neodhalí, protože ukazuje jen výsledný stav, nikoli jeho příčinu. Sledovat se vyplatí i to, zda se chyby na testu koncentrují do konkrétních tříd s málo trénovacími příklady.

Nahrazuje ROC křivka confusion matrix?

ROC křivka confusion matrix nenahrazuje, ale vzniká z ní. Každý bod ROC křivky odpovídá jedné confusion matrix při konkrétním prahu rozhodování a vynáší se z něj podíl true positive proti podílu false positive. ROC tedy shrnuje chování modelu přes všechny prahy, kdežto confusion matrix popisuje jeden zvolený provozní bod, se kterým se reálně nasazuje. Při silně nevyvážených datech navíc ROC vypadá optimisticky a bývá vhodnější precision-recall křivka.

Zdroje

1. Confusion matrix(otevře se v novém okně)Wikipedia
2. Precision and recall(otevře se v novém okně)Wikipedia
3. Machine Learning Glossary(otevře se v novém okně)Google for Developers
4. NIST/SEMATECH e-Handbook of Statistical Methods(otevře se v novém okně)NIST

Související pojmy

• KlasifikaceKlasifikace je úloha strojového učení, při níž model přiřazuje vstupům jednu nebo více předem daných tříd. Používá se například pro spam, detekci podvodů, rozpoznávání obrázků nebo třídění zákaznických zpráv. Model se učí ze štítkovaných dat a jeho výstupem bývá třída, skóre nebo pravděpodobnost.
• Křížová validaceKřížová validace je postup hodnocení modelu strojového učení, při kterém se data opakovaně rozdělí na trénovací a testovací část a model se vyhodnotí na každé části zvlášť. Výsledné metriky se zprůměrují, takže odhad výkonu méně závisí na jednom náhodném rozdělení dat a lépe odhalí přeučení.
• A/B testováníA/B testování je řízený experiment, který porovnává dvě varianty stránky, funkce, ceny nebo sdělení na podobných skupinách uživatelů. Měří předem zvolenou metriku, například konverzi nebo retenci, a pomáhá rozhodnout, zda změna skutečně zlepšuje výsledek, nebo zda pozorovaný rozdíl mohl vzniknout náhodou.
• AI agentAI agent je softwarový systém, který pomocí modelu umělé inteligence vnímá zadaný kontext, plánuje další kroky a samostatně volá nástroje nebo služby k dosažení cíle. Na rozdíl od jednorázového promptu udržuje stav úlohy, vyhodnocuje výsledky akcí a může opakovat postup, dokud nesplní zadání nebo nenarazí na limit.
• AI etikaAI etika je obor, který zkoumá, jaké dopady mají systémy umělé inteligence na lidi, a formuluje pravidla pro jejich návrh, trénink a provoz. Řeší zaujatost dat, transparentnost rozhodování, ochranu soukromí, odpovědnost za chybu i bezpečnost modelu. Ve firemní praxi se promítá do interních politik, dokumentace modelů a povinností podle regulace typu AI Act.
• ArbitrážArbitráž je obchodní strategie, která využívá rozdíl v ceně stejného nebo ekonomicky shodného aktiva na různých trzích, místech nebo v různých formách. Trader se snaží levně koupit a současně dráž prodat, aby zisk vznikl z cenové nesrovnalosti, ne z dlouhodobého odhadu směru trhu. V praxi rozhodují poplatky, rychlost, likvidita a riziko vypořádání.
• AtribuceAtribuce je způsob, jak v marketingové analytice přiřadit zásluhu za konverzi jednotlivým kontaktům zákazníka se značkou, například reklamě, e-mailu nebo organickému vyhledávání. Pomáhá odhadnout přínos kanálů a kampaní, ale sama o sobě nedokazuje kauzalitu. Výsledek závisí na datech, pravidlech měření a zvoleném atribučním modelu.
• BackpropagationBackpropagation je algoritmus, kterým neuronová síť zjistí, jak moc se má každá váha změnit. Spočítá chybu na výstupu a pomocí řetízkového pravidla ji postupně rozpočítá zpět přes všechny vrstvy až na vstup.