Posilované učení (Reinforcement Learning)

Příklady z praxe

1. 01

   Doporučování obsahu jako víceruký bandita

   Zpravodajský web musí rozhodnout, který ze šesti článků ukáže na hlavní stránce. Klasické A/B testování by muselo běžet týden na fixním rozdělení provozu, zatímco bandit algoritmus průběžně přesouvá zobrazení k článkům s vyšší mírou prokliku a menší část provozu si nechává na průzkum. Ztráta z testování slabých variant je díky tomu výrazně nižší.

   import random
   
   Q = {a: 0.0 for a in clanky}   # odhad mira prokliku
   N = {a: 0 for a in clanky}
   EPS = 0.1
   
   def vyber():
       if random.random() < EPS:
           return random.choice(clanky)      # pruzkum
       return max(Q, key=Q.get)              # vyuziti
   
   def aktualizuj(a, odmena):                # odmena = 1 klik, 0 bez kliku
       N[a] += 1
       Q[a] += (odmena - Q[a]) / N[a]

2. 02

   Reward hacking v simulaci robotického ramene

   Tým trénuje rameno, aby přesunulo kostku do cílového čtverce, a odměnu definuje jako zápornou vzdálenost kostky od cíle. Agent objeví, že místo uchopení stačí kostku odpálit prudkým pohybem, takže proletí cílem a v jednom snímku má minimální vzdálenost. Skóre roste, úloha se ale neplní. Oprava spočívá v odměně za setrvání kostky v cíli po stanovený počet kroků.

Časté omyly

MýtusPosilované učení je vlastně jen učení s učitelem, kde místo štítku dáváme odměnu.

Ve skutečnostiPosilované učení nedostává informaci o tom, která akce byla správná, jen o tom, jak dobrý byl výsledek. Navíc data nejsou pevná: agent svým chováním určuje, jaké situace vůbec uvidí, takže rozdělení trénovacích dat se během učení mění.

MýtusRL zvládne cokoli, když mu dáme dost výpočetního výkonu.

Ve skutečnostiRL potřebuje prostředí, ve kterém lze levně a mnohokrát chybovat, a měřitelnou odměnu. Bez věrného simulátoru nebo obrovského objemu logovaných interakcí je nasazení v provozu nepraktické a levnější přístup bývá klasická predikce s ručně navrženým pravidlem.

MýtusRLHF u jazykových modelů znamená, že model dostává odměnu přímo od lidí.

Ve skutečnostiLidé v RLHF obvykle jen porovnávají dvojice odpovědí. Z těchto preferencí se natrénuje samostatný odměnový model a teprve ten dává během optimalizace číselný signál, protože živý člověk by nikdy nestihl ohodnotit potřebný počet vzorků.

Časté dotazy

Kolik dat potřebuje posilované učení oproti klasickému modelu?

Posilované učení bývá vzorkově výrazně náročnější než učení s učitelem. Zatímco klasifikátor se něco naučí z desítek tisíc označených příkladů, hluboké RL agenty se běžně trénují na milionech až miliardách kroků interakce s prostředím. Důvod je v tom, že odměna nese mnohem méně informace než konkrétní správná odpověď a agent se navíc musí naučit i důsledky vlastních rozhodnutí. Proto se prakticky vždy trénuje v simulaci, případně se využívají offline metody učící se z dříve nasbíraných záznamů provozu.

Jak navrhnout odměnovou funkci, aby agent nepodváděl?

Odměnová funkce má odměňovat skutečný cíl, ne jeho snadno měřitelnou náhražku. Osvědčuje se odměňovat až splněný stav udržený po několik kroků, přidávat penalizace za nežádoucí chování, omezovat prostor akcí a nové strategie ručně prohlédnout ve vizualizaci před dalším kolem trénování. Užitečnou technikou je také reward shaping ve tvaru, který zachovává optimální strategii. Praktickým pravidlem zůstává, že každou neobvykle rychle rostoucí odměnu je potřeba považovat za podezření na chybu v definici úlohy, dokud se neprokáže opak.

Jaký je rozdíl mezi on-policy a off-policy metodami?

On-policy metody, například PPO nebo SARSA, se učí ze zkušeností vytvořených právě tou strategií, kterou zlepšují. Jsou stabilnější, ale starší data musí zahodit. Off-policy metody jako Q-learning nebo DQN se dokážou učit i z dat pořízených jinou strategií, takže mohou opakovaně využívat replay buffer a jsou vzorkově úspornější. Za to platí vyšší náchylností k divergenci při kombinaci s aproximací neuronovou sítí. Volba mezi nimi je hlavně kompromis mezi cenou získání dat a stabilitou trénování.

Dá se posilované učení nasadit přímo v produkci na živých uživatelích?

Posilované učení lze v produkci nasadit, ale zpravidla jen v omezené formě banditů nad malým počtem variant, kde je odměna rychlá a měřitelná, například proklik nebo konverze. Plné RL s dlouhým horizontem se v živém provozu učí obtížně, protože chybné strategie stojí reálné peníze a zpětná vazba přichází pozdě. Bezpečnější postup je natrénovat strategii offline z historických logů, ověřit ji odhadem mimo provoz a teprve poté ji pustit na malý podíl provozu s pojistkou v podobě pravidel.

Zdroje

1. Reinforcement learning(otevře se v novém okně)Wikipedia
2. Reinforcement Learning (DQN) Tutorial(otevře se v novém okně)PyTorch
3. Playing Atari with Deep Reinforcement Learning(otevře se v novém okně)arXiv, 2013
4. Proximal Policy Optimization Algorithms(otevře se v novém okně)arXiv, 2017
5. Markov decision process(otevře se v novém okně)Wikipedia

Související pojmy

• PřeučeníPřeučení je stav modelu strojového učení, kdy se příliš přizpůsobí trénovacím datům včetně šumu a náhodných detailů. Model pak dosahuje výborných výsledků na známých příkladech, ale zhoršuje se na nových datech, protože místo obecného vzoru si zapamatoval konkrétní trénovací sadu.
• Učení bez učiteleUčení bez učitele je přístup strojového učení, při kterém model hledá vzory v datech bez předem přiřazených správných odpovědí. Používá se ke shlukování podobných záznamů, hledání anomálií, zmenšení počtu příznaků nebo předtrénování reprezentací, když jsou štítky drahé, neúplné či vůbec neexistují.
• AI agentAI agent je softwarový systém, který pomocí modelu umělé inteligence vnímá zadaný kontext, plánuje další kroky a samostatně volá nástroje nebo služby k dosažení cíle. Na rozdíl od jednorázového promptu udržuje stav úlohy, vyhodnocuje výsledky akcí a může opakovat postup, dokud nesplní zadání nebo nenarazí na limit.
• AI etikaAI etika je obor, který zkoumá, jaké dopady mají systémy umělé inteligence na lidi, a formuluje pravidla pro jejich návrh, trénink a provoz. Řeší zaujatost dat, transparentnost rozhodování, ochranu soukromí, odpovědnost za chybu i bezpečnost modelu. Ve firemní praxi se promítá do interních politik, dokumentace modelů a povinností podle regulace typu AI Act.
• BackpropagationBackpropagation je algoritmus, kterým neuronová síť zjistí, jak moc se má každá váha změnit. Spočítá chybu na výstupu a pomocí řetízkového pravidla ji postupně rozpočítá zpět přes všechny vrstvy až na vstup.
• ChatbotChatbot je software, který vede s uživatelem dialog v přirozeném jazyce, nejčastěji přes web, aplikaci nebo komunikační platformu. Může být pravidlový, napojený na databáze nebo založený na jazykovém modelu; cílem je vyřídit požadavek, poradit, sbírat údaje nebo předat případ člověku.
• Confusion matrixConfusion matrix je tabulka, která porovnává předpovědi klasifikačního modelu se skutečnými třídami a rozděluje je na správné a chybné případy. U dvou tříd obsahuje čtyři čísla: true positive, true negative, false positive a false negative. Z těchto čtyř hodnot se počítá accuracy, precision, recall i F1 skóre.
• Context windowContext window je maximální množství vstupního textu a často i nedávné konverzace, které může jazykový model zpracovat najednou při generování odpovědi. Udává se obvykle v tokenech, zahrnuje systémové instrukce, prompt i přiložené dokumenty a přímo ovlivňuje cenu, latenci a spolehlivost práce s informacemi.