Context window (kontextové okno)

Příklady z praxe

1. 01

   Zkrácení historie chatu před voláním modelu

   Chatbot zákaznické podpory posílá modelu poslední část konverzace, ale starší zprávy už se do context window nevejdou. Aplikace proto nechá rezervu na odpověď a uchová jen nejnovější zprávy, které se vejdou do rozpočtu. Výsledek je rychlý, ale bez samostatného shrnutí může chatbot ztratit dříve domluvené údaje.

   const tokenBudget = 6000;
   const reserveForAnswer = 1000;
   
   function estimateTokens(text) {
     return Math.ceil(text.length / 4);
   }
   
   function keepRecentMessages(messages) {
     const kept = [];
     let used = reserveForAnswer;
   
     for (const msg of messages.slice().reverse()) {
       const cost = estimateTokens(msg.content);
       if (used + cost > tokenBudget) break;
       kept.unshift(msg);
       used += cost;
     }
   
     return kept;
   }

2. 02

   Výběr pasáží místo vložení celé smlouvy

   Právní asistent má odpovědět na dotaz nad dlouhou smlouvou a souvisejícími dodatky. Celý balík dokumentů by context window zaplnil a model by mohl přehlédnout důležitou klauzuli. Aplikace proto nejdřív vyhledá odstavce k tématu výpovědi smlouvy a do promptu vloží jen několik relevantních pasáží s identifikací zdroje.

Časté omyly

MýtusKdyž má model velké context window, pamatuje si celou konverzaci navždy.

Ve skutečnostiContext window platí jen pro aktuální požadavek. Trvalou paměť musí řešit aplikace uložením historie, shrnutím nebo napojením na externí úložiště.

MýtusStačí do promptu vložit všechny dokumenty a model si vybere, co potřebuje.

Ve skutečnostiPříliš mnoho textu zvyšuje cenu, zpomaluje odpověď a může snížit přesnost. Lepší bývá vybrat relevantní pasáže a zbytek ponechat v databázi nebo vyhledávacím indexu.

Časté dotazy

Proč model s velkým context window někdy přehlédne důležitou větu?

Jazykový model s velkým context window stále pracuje pravděpodobnostně a dlouhý vstup může obsahovat mnoho konkurenčních signálů. Důležitá věta může být daleko od otázky, může si odporovat s jinou instrukcí nebo může být obklopená méně relevantním textem. Spolehlivost obvykle zlepší kratší a přesnější kontext, jasná struktura dokumentu a explicitní odkaz na pasáž, kterou má model použít.

Má context window nahrazovat databázi znalostí?

Context window nemá nahrazovat databázi znalostí, protože kontextové okno je dočasný prostor pro jeden požadavek. Databáze, vyhledávací index nebo vektorové úložiště slouží k trvalému uložení a výběru informací. Kontextové okno má obsahovat jen ty části znalostí, které jsou relevantní pro aktuální otázku a které model potřebuje k přesné odpovědi.

Kolik context window nechat volné pro odpověď?

Rezerva pro odpověď závisí na očekávané délce výstupu, formátu a složitosti úkolu. Krátká klasifikace potřebuje malý prostor, zatímco vysvětlení s tabulkou, kódem nebo vícekrokovým postupem potřebuje výrazně větší rezervu. Aplikace by měla počítat vstupní tokeny před odesláním a část limitu záměrně nechat prázdnou pro dokončení odpovědi.

Kdy se vyplatí RAG místo vložení celého dokumentu?

RAG se vyplatí, když je zdrojových dokumentů víc, často se mění nebo přesahují limit context window. Retrieval-augmented generation nejdřív najde relevantní úryvky a teprve potom je vloží do promptu. Celý dokument v promptu dává smysl hlavně u kratších textů, kde je důležitý kompletní kontext a náklady ani latence nejsou problém.

Zdroje

1. Attention Is All You Need(otevře se v novém okně)arXiv, 2017
2. Transformers(otevře se v novém okně)Hugging Face
3. Azure OpenAI Service documentation(otevře se v novém okně)Microsoft Learn
4. Generative AI on Vertex AI documentation(otevře se v novém okně)Google Cloud

Související pojmy

• Prompt engineeringPrompt engineering je navrhování, testování a průběžné ladění vstupních instrukcí pro generativní modely tak, aby dávaly spolehlivě užitečné a kontrolovatelné výstupy. Zahrnuje volbu role, kontextu, formátu odpovědi, příkladů, omezení i kontrol proti halucinacím, prompt injection a úniku citlivých dat v aplikacích.
• TokenToken je krátká jednotka informace, která v daném systému zastupuje oprávnění, identitu, část textu nebo syntaktický prvek. Význam závisí na kontextu: v API bývá nositelem přístupu, v parseru výsledkem lexikální analýzy a v AI jednotkou, podle které model zpracovává text.
• TransformerTransformer je architektura neuronové sítě postavená na mechanismu pozornosti (self-attention), která zpracovává celou sekvenci najednou místo prvku po prvku. Publikovaná byla v roce 2017 v práci Attention Is All You Need a stala se základem dnešních jazykových modelů, překladačů i modelů pro obraz a zvuk.
• EmbeddingEmbedding je číselná vektorová reprezentace objektu, například slova, věty, obrázku, produktu nebo uživatele, navržená tak, aby zachytila významové či statistické vztahy. Modely strojového učení s embeddingy počítají podobnost, řazení, doporučování a vyhledávání, protože podobné objekty leží vektorově blízko sebe.
• PromptPrompt je textový (případně obrazový či zvukový) vstup, kterým člověk nebo program zadá jazykovému modelu úkol a kontext pro odpověď. Model prompt převede na tokeny a na jeho základě predikuje pokračování. Kvalita a struktura promptu přímo určuje, jak přesný, konzistentní a použitelný výstup modelu bude.
• ACIDACID je sada čtyř vlastností databázové transakce: atomicity, consistency, isolation a durability. Zaručuje, že skupina zápisů proběhne jako jeden celek, neporuší definovaná pravidla databáze, nebude se nebezpečně míchat s jinými transakcemi a po potvrzení přežije pád systému, například při převodu peněz.
• Adaptive IconAdaptivní ikona je formát ikony aplikace na Androidu, který se místo jedné hotové bitmapy skládá z oddělených vrstev: pozadí a popředí. Systém výsledný tvar sám ořízne podle masky výrobce zařízení a může vrstvy animovat nebo přebarvit. Vývojář tak dodá jeden zdroj a launcher z něj vytvoří kruh, čtverec i squircle.
• Adresa v pamětiAdresa v paměti je číslo, kterým procesor jednoznačně označuje konkrétní buňku operační paměti, obvykle jeden bajt. Program pomocí adresy říká, odkud má data načíst nebo kam je zapsat. Adresy tvoří souvislý číselný rozsah, jehož velikost určuje šířka adresní sběrnice a architektura, typicky 32 nebo 64 bitů.