TakéAI hallucination, LLM hallucination, model hallucination, konfabulace AIZákladní
Definice
Halucinace je výstup generativního modelu, který zní přesvědčivě, ale není podložen vstupem, trénovacími daty ani ověřitelnou skutečností. V AI se týká hlavně jazykových modelů, které doplní neexistující citaci, chybný fakt, smyšlené API nebo nepřesný závěr místo přiznání nejistoty uživateli.
Nezaměňujte: Heslo popisuje halucinaci v generativní AI, nikoli klinický smyslový prožitek v medicíně nebo psychologii.
Proč model vymyslí věrohodnou nepravdu
Generativní model netahá odpověď z databáze hotových vět. Model odhaduje pravděpodobné pokračování textu, kódu nebo obrazu podle kontextu a naučených vzorů. Pokud dotaz obsahuje mezeru, nejasný předpoklad nebo požadavek na detail, který model nemá pevně ukotvený, může vytvořit plynulou konstrukci místo ověřené odpovědi. Halucinace proto často nevypadá jako náhodný šum. Halucinace napodobuje styl odborné jistoty, včetně tabulek, odkazů, názvů funkcí nebo citací.
Jazykový model navíc obvykle nemá vlastní pojem pravdivosti ve smyslu kontroly proti realitě. Model může správně reprodukovat běžný vzorec, ale špatně dosadit konkrétní jméno, číslo, verzi nebo souvislost. Riziko roste u vzácných faktů, aktuálních událostí, interní firemní znalosti a dotazů, které nutí model odpovědět i při nedostatku informací.
Kde halucinace bolí v softwaru
Vývojářské použití LLM odhaluje halucinace rychle, protože kód a dokumentace mají ostré hranice. Model může navrhnout neexistující parametr API, smyšlený příkaz CLI, zastaralý konfigurační klíč nebo bezpečnostní doporučení bez platného zdroje. Kompilátor část chyb zachytí, ale architektonická doporučení, licence, migrační postupy nebo právní shrnutí mohou vypadat rozumně a projít kontrolou pozdě.
Produktové riziko není jen technická chyba. Chatbot zákaznické podpory může slíbit vrácení peněz mimo obchodní pravidla. Analytický asistent může vymyslet příčinu poklesu metriky. Vyhledávací generátor může připsat tvrzení zdroji, ve kterém tvrzení vůbec není. Halucinace v těchto situacích poškozuje důvěru, komplikuje audit a může vytvořit compliance problém.
Omezení, která snižují pravděpodobnost
Grounding váže odpověď na konkrétní dokumenty, databázi, výsledky vyhledávání nebo nástroje. Retrieval-Augmented Generation nejprve najde relevantní podklady a teprve potom nechá model formulovat odpověď. Tento postup nepřidává záruku pravdy, ale zlepšuje dohledatelnost a umožňuje odmítnout odpověď, když zdroje chybí nebo si odporují.
Praktická obrana kombinuje několik vrstev: jasné instrukce k přiznání nejistoty, citace s kontrolou existence, validaci výstupu schématem, testy nad kritickými dotazy a lidské schválení u drahých nebo právně citlivých rozhodnutí. U kódu pomáhá spouštění testů, statická analýza a ověřování proti oficiální dokumentaci. U faktických odpovědí pomáhá oddělit nalezení důkazů od finální formulace.
Proč se halucinace neměří jedním číslem
Míra halucinací závisí na úloze, doméně a přísnosti hodnocení. Volná kreativní odpověď snese jinou toleranci než extrakce hodnot z faktury nebo lékařské doporučení. Hodnoticí sada musí obsahovat otázky, u kterých je známý správný zdroj, i otázky, na které má systém odmítnout odpovědět. Bez takových případů se model může jevit přesný, protože hodnotitel nevšimne chybějícího důkazu.
Dobrá metrika rozlišuje faktickou chybu, nepodložené tvrzení, chybnou citaci a odpověď mimo rozsah. Provozní monitoring pak sleduje konkrétní incidenty, ne abstraktní dojem kvality. Halucinace se nedá odstranit jedním parametrem, ale dá se řídit jako riziko návrhem systému, testováním a transparentním zacházením s nejistotou.
Příklady z praxe
Smyšlená metoda knihovny
Vývojář se zeptá modelu na validaci JSON v konkrétní knihovně. Model navrhne metodu, která v dokumentaci neexistuje, a testy spadnou až v CI. Dopadem je ztracený čas a riziko, že podobná rada projde do pull requestu bez ověření.
import jsonschema # Model tvrdil, že knihovna má funkci validate_strict(...). # Ověření proti skutečnému API by chybu odhalilo před commitem. jsonschema.validate_strict(data, schema)Neexistující citace v odpovědi
Právní chatbot odpoví zákazníkovi a uvede přesně znějící číslo paragrafu. Paragraf ale řeší jinou situaci a citovaný rozsudek neexistuje. Odpověď působí profesionálně, přesto je nepoužitelná bez kontroly proti skutečným právním zdrojům.
Časté omyly
- MýtusKdyž model odpovídá sebejistě, tak si je jistý.
- Ve skutečnostiSebejistý styl je vlastnost generovaného textu, ne měření pravdivosti. Model může plynule formulovat i tvrzení, které nemá oporu ve zdrojích.
- MýtusVyšší temperature je hlavní příčina halucinací.
- Ve skutečnostiTemperature ovlivňuje náhodnost výběru slov, ale halucinace vznikají i z chybějícího kontextu, nejasné otázky nebo špatného ukotvení ve zdrojích. Nižší hodnota může pomoci, ale není kontrolou faktů.
- MýtusRAG halucinace vyřeší.
- Ve skutečnostiRAG dodá modelu podklady, ale model může podklady špatně vybrat nebo nesprávně interpretovat. Spolehlivá aplikace musí ověřovat citace, relevanci i odmítnutí odpovědi.
Časté dotazy
- Pomůže RAG proti halucinacím v LLM?
- Retrieval-Augmented Generation snižuje riziko halucinací tím, že model dostane konkrétní dokumenty nebo výsledky vyhledávání jako oporu. RAG ale nezaručuje pravdivost odpovědi, protože model může zdroj špatně vyložit, spojit nesouvisející pasáže nebo tvrdit víc, než podklady dovolují. Spolehlivý systém proto kontroluje citace, skóre relevance a případy, kdy má odpověď odmítnout.
- Lze halucinace v AI úplně odstranit?
- Úplné odstranění halucinací u otevřených generativních úloh není realistický cíl. Halucinace lze výrazně omezit užším rozsahem úlohy, kvalitním groundingem, validací výstupu, testovací sadou a lidskou kontrolou u citlivých rozhodnutí. Bezpečný návrh nepočítá s dokonalým modelem, ale s řízením rizika a jasným postupem pro nejisté odpovědi.
- Jak poznat halucinaci v odpovědi modelu?
- Halucinace se často pozná podle detailu, který vypadá konkrétně, ale nejde dohledat v uvedeném zdroji. Typickým signálem je neexistující odkaz, neplatný název funkce, citace bez stránky, příliš přesné číslo bez metodiky nebo odpověď, která ignoruje omezení v zadání. Spolehlivější než pocit je ověření proti dokumentaci, databázi nebo testu.
- Proč model halucinuje i při nízké temperature?
- Model může halucinovat i při nízké teplotě, protože problém nevzniká jen náhodností generování. Halucinace může vycházet z neúplného kontextu, zastaralých znalostí, rozporu ve zdrojích nebo z dotazu, který předpokládá nepravdu. Nižší teplota často zmenší variabilitu odpovědí, ale sama nevytvoří faktickou kontrolu proti realitě.
Zdroje
- Hallucination (artificial intelligence)(otevře se v novém okně)
- A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions(otevře se v novém okně)
- Artificial Intelligence Risk Management Framework (AI RMF 1.0)(otevře se v novém okně)
- Transformers documentation(otevře se v novém okně)
- Generative AI on Vertex AI(otevře se v novém okně)
Související pojmy
