TakéLLM, generativní jazykový modelPokročilý
Definice
Large language model je neuronový jazykový model trénovaný na rozsáhlých textech, který z kontextu předpovídá a generuje posloupnosti tokenů. Používá se pro chat, sumarizaci, překlad, práci s kódem i vyhledávání informací, ale výstupy mohou obsahovat chyby, zkreslení nebo neověřené domněnky.
Proč large language model odpovídá po tokenech
Large language model nepracuje se slovy stejně jako člověk. Vstupní text nejprve rozdělí na tokeny: části slov, celá slova, interpunkci nebo speciální značky. Model potom z dosavadního kontextu počítá pravděpodobné pokračování a postupně vybírá další tokeny. Souvislá odpověď vzniká opakováním tohoto kroku, ne vyhledáním hotové věty v databázi.
Architektura moderních LLM bývá založená na transformerech. Transformer umí při zpracování textu vážit vztahy mezi tokeny v různých částech kontextu, takže model dokáže navazovat na předchozí instrukce, citovaný dokument nebo kus kódu. Výsledek přesto není důkaz správnosti. Model optimalizuje jazykově pravděpodobný výstup, nikoli pravdu v právním, vědeckém nebo obchodním smyslu.
Trénování: obecný jazyk, instrukce a doména
Trénování obvykle začíná na velkém množství textu, kde se model učí statistické a významové vzory jazyka. Další fáze mohou model přizpůsobit instrukcím, dialogu nebo preferovanému stylu odpovědí. Firemní použití často přidává ještě doménovou vrstvu: kvalitní prompty, retrieval-augmented generation, jemné doladění nebo pravidla pro kontrolu výstupu.
Rozdíl mezi znalostí modelu a informací v promptu je prakticky důležitý. Znalosti uložené v parametrech mohou být zastaralé nebo nepřesné. Informace vložená do kontextu je aktuálnější, ale zabírá místo a může být špatně vybraná. Produkční systém proto často kombinuje LLM s vyhledáváním v interních dokumentech, logováním a validací odpovědí.
Kontextové okno, latence a náklady inference
Kontextové okno určuje, kolik tokenů může model při jedné odpovědi zohlednit. Delší kontext dovolí přiložit smlouvu, chatovou historii nebo více souborů, ale zvyšuje výpočetní nároky a může zhoršit soustředění modelu na podstatné pasáže. Inference, tedy generování odpovědi, se platí časem akcelerátorů, pamětí a často také počtem vstupních a výstupních tokenů.
Bezpečné nasazení LLM není jen otázka výběru modelu. Aplikace potřebuje omezit únik citlivých dat, rozlišit systémové instrukce od uživatelského vstupu, zaznamenat důvody důležitých rozhodnutí a počítat s tím, že prompt injection může změnit chování asistenta. Kritické akce je vhodné oddělit od textové odpovědi a potvrzovat je běžným programovým řízením.
Dva typické zásahy large language modelu v produktu
Podpora v e-shopu
Operátor zákaznické podpory dostane od asistenta návrh odpovědi na reklamaci. Large language model načte stručný popis objednávky, výňatek z reklamačních podmínek a poslední zprávu zákazníka. Výstup zrychlí práci, ale operátor před odesláním ověří částku, termíny a tón komunikace.
Úkol: navrhni odpověď zákazníkovi.
Kontext: zákazník žádá vrácení peněz za poškozené zboží.
Pravidlo: neslibuj kompenzaci, kterou interní systém nepotvrdil.Code review v pull requestu
Vývojář vloží diff malé změny a požádá model o kontrolu možných regresí. Large language model upozorní na neošetřený stav, kdy API vrátí prázdné pole místo objektu. Návrh pomůže najít problém dříve, ale rozhodující zůstává test, znalost architektury a kontrola člověkem.
Příklady z praxe
Podpora v e-shopu
Operátor zákaznické podpory dostane od asistenta návrh odpovědi na reklamaci. Large language model načte stručný popis objednávky, výňatek z reklamačních podmínek a poslední zprávu zákazníka. Výstup zrychlí práci, ale operátor před odesláním ověří částku, termíny a tón komunikace.
Úkol: navrhni odpověď zákazníkovi. Kontext: zákazník žádá vrácení peněz za poškozené zboží. Pravidlo: neslibuj kompenzaci, kterou interní systém nepotvrdil.Code review v pull requestu
Vývojář vloží diff malé změny a požádá model o kontrolu možných regresí. Large language model upozorní na neošetřený stav, kdy API vrátí prázdné pole místo objektu. Návrh pomůže najít problém dříve, ale rozhodující zůstává test, znalost architektury a kontrola člověkem.
Časté omyly
- MýtusLLM si přesně pamatuje všechno, na čem byl trénovaný.
- Ve skutečnostiLarge language model nefunguje jako spolehlivý archiv trénovacích dat. Model ukládá vzory do parametrů a může některé pasáže reprodukovat, ale často jen odhaduje pravděpodobné znění.
- MýtusČím větší model, tím vždy lepší odpověď.
- Ve skutečnostiVětší large language model může zvládat složitější úlohy, ale lepší výsledek závisí také na zadání, datech v kontextu, doméně, latenci a ceně. Menší specializovaný model může být pro konkrétní proces vhodnější.
- MýtusStačí napsat do promptu, aby model nikdy nelhal.
- Ve skutečnostiInstrukce může snížit riziko nepřesností, ale nezaručí pravdivost. Důležité odpovědi potřebují ověřitelné zdroje, validaci a jasně navržené hranice toho, co smí model tvrdit nebo vykonat.
Časté dotazy
- Kolik firemních dat má large language model dostat do kontextu?
- Large language model může v kontextu zpracovat jen omezené množství tokenů, takže aplikace obvykle neposílá celý archiv dokumentů ani celou databázi. Produkční řešení vybírá relevantní pasáže, zkracuje historii konverzace a odděluje pevná systémová pravidla od proměnlivých vstupů. Kvalita výběru kontextu často rozhoduje víc než délka samotného promptu.
- Proč large language model někdy halucinuje?
- Large language model halucinuje proto, že generuje jazykově pravděpodobné pokračování, ne ověřený záznam reality. Chybné odpovědi vznikají hlavně při neúplném kontextu, nejasném zadání, zastaralých znalostech nebo tlaku na konkrétní formát. Riziko snižuje retrieval z důvěryhodných zdrojů, citace použitých dokumentů, validace programem a lidská kontrola u důležitých výstupů.
- Může large language model rozhodovat bez člověka?
- Large language model není ideální pro samostatné rozhodování v situacích s právním, finančním, bezpečnostním nebo zdravotním dopadem. Model může přesvědčivě formulovat chybný závěr a nemusí rozpoznat všechny okrajové případy. Bezpečnější návrh systému nechává LLM připravit návrh, vysvětlení nebo shrnutí, zatímco závaznou akci potvrzuje člověk nebo deterministické pravidlo.
Zdroje
- Attention Is All You Need(otevře se v novém okně)
- Language Models are Few-Shot Learners(otevře se v novém okně)
- Transformers(otevře se v novém okně)
- Transformer(otevře se v novém okně)
Související pojmy
