Prompt engineering

Příklady z praxe

1. 01

   Klasifikace zákaznické zprávy

   E-shop potřebuje roztřídit příchozí e-maily na reklamace, dotazy k dopravě a žádosti o změnu objednávky. Prompt určí povolené kategorie, požadovaný JSON a pravidlo pro nejasné případy. Výstup se dá rovnou poslat do helpdeskového systému.

   Úkol: Zařaď zákaznickou zprávu do jedné kategorie: reklamace, doprava, změna_objednávky, jiné.
   Vrať pouze JSON ve tvaru {"kategorie":"...","jistota":"nízká|střední|vysoká"}.
   Pokud zpráva obsahuje více problémů, zvol hlavní důvod kontaktu.
   Zpráva: <text_z_formuláře>

2. 02

   Shrnutí dlouhého zápisu ze schůzky

   Produktový manažer vloží přepis porady a chce akční body bez dlouhého vyprávění. Prompt stanoví publikum, výstupní strukturu a pravidlo pro chybějící odpovědnosti. Výsledek je kratší, jednotnější a vhodnější pro tiketovací systém.

   Vytvoř shrnutí pro vývojový tým.
   Výstup rozděl na: Rozhodnutí, Otevřené otázky, Akční body.
   Každý akční bod uveď jako: vlastník, úkol, termín. Pokud údaj v přepisu není, napiš "neuvedeno".
   Přepis: <text_přepisu>

Časté omyly

MýtusStačí napsat „chovej se jako expert“ a model bude spolehlivý.

Ve skutečnostiRole může ovlivnit styl odpovědi, ale sama neřeší fakta, formát ani hranice úlohy. Spolehlivější prompt přidává kontext, omezení, příklady, očekávanou strukturu a kontrolu nejistoty.

MýtusČím delší prompt, tím lepší výsledek.

Ve skutečnostiDlouhý prompt může model zatížit nerelevantními instrukcemi a zvýšit riziko rozporů. Lepší je jasná struktura, odstranění šumu a testování na typických i hraničních vstupech.

MýtusPrompt engineering je jen trik pro chatovací nástroje.

Ve skutečnostiPrompt engineering se používá i v aplikacích, kde LLM volá nástroje, generuje JSON, vyhledává v dokumentech nebo pomáhá s workflow. V takovém prostředí je prompt součástí návrhu systému.

Časté dotazy

Kdy má prompt engineering smysl v běžné aplikaci?

Prompt engineering se vyplatí použít, když generativní model plní proměnlivé úlohy, pracuje s kontextem od uživatele nebo má vracet strukturovaný výstup. Typické jsou asistenti, interní vyhledávání, klasifikace textu, shrnutí dokumentů a automatizace podpory. Jednorázový chat snese volnější zadání, ale aplikace potřebuje prompt, který se dá testovat na sadě vstupů a který selže předvídatelně.

Dá se prompt engineering nahradit fine-tuningem?

Prompt engineering nenahrazuje fine-tuning ve všech situacích. Prompt mění chování modelu bez úpravy vah, takže je rychlý, levnější na iteraci a vhodný pro pravidla, kontext a formát odpovědi. Fine-tuning dává větší smysl, když má model dlouhodobě napodobovat specifický styl, doménové rozhodování nebo vzory z velkého množství příkladů. Produkční systémy často kombinují prompt, RAG a případně doladěný model.

Jak se měří kvalita promptu pro LLM?

Kvalita promptu pro LLM se měří na konkrétní testovací sadě, ne podle dojmu z jedné odpovědi. Tým sleduje přesnost, dodržení formátu, úplnost, míru halucinací, bezpečné odmítnutí rizikových požadavků a stabilitu při různých formulacích vstupu. U strukturovaných výstupů pomáhá automatická validace JSON schématu. U znalostních odpovědí je důležité porovnat výsledek se zdroji nebo očekávanou odpovědí.

Proč stejný prompt nedává vždy stejnou odpověď?

Stejný prompt nemusí dávat vždy stejnou odpověď, protože generativní model vybírá další tokeny pravděpodobnostně a běh může ovlivnit nastavení teploty, top-p, verze modelu i okolní kontext. Nižší náhodnost a přesnější formátování zvyšují stabilitu, ale nezaručují absolutní opakovatelnost. Kritické aplikace proto výstup kontrolují programově a nespoléhají pouze na formulaci promptu.

Zdroje

1. Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing(otevře se v novém okně)arXiv, 2021
2. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models(otevře se v novém okně)arXiv, 2022
3. Prompt engineering techniques(otevře se v novém okně)Microsoft Learn
4. OWASP Top 10 for Large Language Model Applications(otevře se v novém okně)OWASP

Související pojmy

• Large language modelLarge language model je neuronový jazykový model trénovaný na rozsáhlých textech, který z kontextu předpovídá a generuje posloupnosti tokenů. Používá se pro chat, sumarizaci, překlad, práci s kódem i vyhledávání informací, ale výstupy mohou obsahovat chyby, zkreslení nebo neověřené domněnky.
• Fine-tuningFine-tuning je úprava již předtrénovaného modelu strojového učení na menší sadě cílených dat, aby lépe zvládal konkrétní úlohu, doménu nebo styl odpovědí. Místo učení od nuly navazuje na existující znalosti modelu a mění část jeho parametrů nebo přidává malé trénovatelné vrstvy.
• Generativní AIGenerativní AI je oblast umělé inteligence, která vytváří nový text, obrázky, zvuk, video nebo kód podle zadaného kontextu. Model se učí statistické vzory z dat a při použití skládá pravděpodobný výstup, nevyhledává hotovou odpověď. Proto vyžaduje kontrolu faktů, práv i bezpečnosti.
• RAGRAG je architektura pro práci s jazykovým modelem, která před generováním odpovědi vyhledá relevantní informace v externím úložišti a vloží je do kontextu modelu. Díky tomu může aplikace odpovídat z aktuálních firemních dat, dokumentace nebo znalostní báze, aniž by se musel model pokaždé znovu trénovat.
• HalucinaceHalucinace je výstup generativního modelu, který zní přesvědčivě, ale není podložen vstupem, trénovacími daty ani ověřitelnou skutečností. V AI se týká hlavně jazykových modelů, které doplní neexistující citaci, chybný fakt, smyšlené API nebo nepřesný závěr místo přiznání nejistoty uživateli.
• Context windowContext window je maximální množství vstupního textu a často i nedávné konverzace, které může jazykový model zpracovat najednou při generování odpovědi. Udává se obvykle v tokenech, zahrnuje systémové instrukce, prompt i přiložené dokumenty a přímo ovlivňuje cenu, latenci a spolehlivost práce s informacemi.
• AI agentAI agent je softwarový systém, který pomocí modelu umělé inteligence vnímá zadaný kontext, plánuje další kroky a samostatně volá nástroje nebo služby k dosažení cíle. Na rozdíl od jednorázového promptu udržuje stav úlohy, vyhodnocuje výsledky akcí a může opakovat postup, dokud nesplní zadání nebo nenarazí na limit.
• PromptPrompt je textový (případně obrazový či zvukový) vstup, kterým člověk nebo program zadá jazykovému modelu úkol a kontext pro odpověď. Model prompt převede na tokeny a na jeho základě predikuje pokračování. Kvalita a struktura promptu přímo určuje, jak přesný, konzistentní a použitelný výstup modelu bude.