Guardrails

Příklady z praxe

1. 01

   Výstupní guardrail vynucuje strukturu odpovědi

   Chatbot podpory má vracet strojově zpracovatelný objekt s intentem a ID objednávky. Místo důvěry v prompt se odpověď validuje proti schématu a nevyhovující výstup se jednou zopakuje s chybovou hláškou v kontextu. Po druhém neúspěchu se konverzace předá operátorovi.

   from pydantic import BaseModel, Field
   
   class Reply(BaseModel):
       intent: str = Field(pattern=r"^(refund|status|other)$")
       order_id: str | None
       message: str
   
   def guard(raw: str) -> Reply:
       reply = Reply.model_validate_json(raw)  # vyhodí chybu při nevalidním výstupu
       if reply.intent == "refund" and not reply.order_id:
           raise ValueError("refund bez order_id")
       return reply

2. 02

   Agent s právem mazat data

   Interní agent nad firemní databází dostal nástroj pro SQL dotazy. Guardrail na úrovni oprávnění mu přidělí read-only roli, takže i kdyby prompt injection v načteném dokumentu přiměla model napsat DELETE, databáze příkaz odmítne. Druhá vrstva navíc loguje každý dotaz a nad limit řádků vyžaduje potvrzení člověkem.

Časté omyly

MýtusGuardrails vyřešíme v system promptu, stačí napsat, co model nesmí.

Ve skutečnostiSystémový prompt je jen další text, který model váží proti zbytku kontextu, a útočník ho může přebít formulací dotazu nebo obsahem načteného dokumentu. Tvrdou záruku dává až kontrola mimo model: validace výstupu, omezená oprávnění, filtr na vstupu.

MýtusGuardrails jsou hlavně o vulgaritách a citlivých tématech.

Ve skutečnostiVětšina produkčních guardrailů v podnikových aplikacích řeší nudnější věci: platný formát odpovědi, podloženost tvrzení v dodaných dokumentech, únik osobních údajů a rozsah akcí, které smí agent provést.

MýtusČím přísnější guardrails, tím lépe.

Ve skutečnostiPřísné nastavení zvyšuje počet falešně pozitivních blokací a produkt se stane nepoužitelným pro legitimní dotazy. Guardrails se ladí měřením obou typů chyb na reálných datech, ne intuicí.

Časté dotazy

Jak poznám, že jsou guardrails nastavené příliš přísně?

Přísnost guardrailů se pozná z logu zásahů. Když si projdete vzorek zablokovaných dotazů a významná část z nich jsou legitimní požadavky uživatelů, jde o falešně pozitivní zásahy a pravidlo je moc široké. Pomáhá měřit dvě čísla vedle sebe: podíl legitimních dotazů, které guardrail zablokoval, a podíl skutečně problematických, které prošly. Bez logování obou stran se ladí naslepo a tým obvykle přitvrzuje, dokud uživatelé produkt neopustí.

Kolik latence guardrails přidají?

Latence guardrailů závisí na jejich typu. Deterministické kontroly, tedy regulární výrazy, seznamy zakázaných řetězců nebo validace JSON schématu, běží v jednotkách milisekund a jsou prakticky zdarma. Kontrola druhým modelem přidá další volání API, tedy typicky stovky milisekund až sekundy, a to na vstupu i na výstupu. Vstupní filtr lze pustit paralelně s hlavním voláním, výstupní ne, protože potřebuje hotovou odpověď. U streamovaných odpovědí se proto kontroluje po částech nebo se první tokeny zadrží.

Chrání guardrails proti prompt injection?

Guardrails riziko prompt injection snižují, ale samy ho neodstraní. Vstupní klasifikátor zachytí zjevné pokusy typu "ignoruj předchozí instrukce", nezachytí ale injection ukrytou v načteném webu, PDF nebo e-mailu, který agent zpracovává jako data. Spolehlivější obranou je omezení dopadu: agent dostane jen ta oprávnění, která nutně potřebuje, nevratné akce potvrzuje člověk a nedůvěryhodný obsah se od instrukcí odděluje. Guardrails a princip nejmenších oprávnění se doplňují, nenahrazují.

Mám guardrails psát sám, nebo použít hotovou knihovnu?

Volba mezi vlastní implementací a knihovnou se řídí tím, kolik pravidel má aplikace. Pro jeden nebo dva kontrolní body bývá vlastní kód s Pydantic validací a několika pravidly čitelnější a rychlejší než framework. Hotová řešení, například NeMo Guardrails nebo moderační API poskytovatelů modelu, dávají smysl tam, kde přibývají politiky, potřebujete jednotné logování napříč aplikacemi a nechcete udržovat vlastní klasifikátory. Většina týmů kombinuje obojí: knihovnu na obsahovou moderaci a vlastní kód na doménová pravidla.

Zdroje

1. OWASP Top 10 for Large Language Model Applications(otevře se v novém okně)OWASP Foundation, 2025
2. AI Risk Management Framework(otevře se v novém okně)NIST, 2023
3. Azure AI Content Safety documentation(otevře se v novém okně)Microsoft Learn, 2025
4. Amazon Bedrock Guardrails(otevře se v novém okně)Amazon Web Services, 2025

Související pojmy

• AI agentAI agent je softwarový systém, který pomocí modelu umělé inteligence vnímá zadaný kontext, plánuje další kroky a samostatně volá nástroje nebo služby k dosažení cíle. Na rozdíl od jednorázového promptu udržuje stav úlohy, vyhodnocuje výsledky akcí a může opakovat postup, dokud nesplní zadání nebo nenarazí na limit.
• RAGRAG je architektura pro práci s jazykovým modelem, která před generováním odpovědi vyhledá relevantní informace v externím úložišti a vloží je do kontextu modelu. Díky tomu může aplikace odpovídat z aktuálních firemních dat, dokumentace nebo znalostní báze, aniž by se musel model pokaždé znovu trénovat.
• HalucinaceHalucinace je výstup generativního modelu, který zní přesvědčivě, ale není podložen vstupem, trénovacími daty ani ověřitelnou skutečností. V AI se týká hlavně jazykových modelů, které doplní neexistující citaci, chybný fakt, smyšlené API nebo nepřesný závěr místo přiznání nejistoty uživateli.
• 3-D Secure3-D Secure je protokol, který u online platby kartou ověří, že platí skutečně její držitel, typicky potvrzením v bankovní aplikaci. Při úspěšném ověření se zároveň přenáší odpovědnost za podvodnou transakci z obchodníka na vydavatele karty.
• ACIDACID je sada čtyř vlastností databázové transakce: atomicity, consistency, isolation a durability. Zaručuje, že skupina zápisů proběhne jako jeden celek, neporuší definovaná pravidla databáze, nebude se nebezpečně míchat s jinými transakcemi a po potvrzení přežije pád systému, například při převodu peněz.
• Adaptive IconAdaptivní ikona je formát ikony aplikace na Androidu, který se místo jedné hotové bitmapy skládá z oddělených vrstev: pozadí a popředí. Systém výsledný tvar sám ořízne podle masky výrobce zařízení a může vrstvy animovat nebo přebarvit. Vývojář tak dodá jeden zdroj a launcher z něj vytvoří kruh, čtverec i squircle.
• Adresa v pamětiAdresa v paměti je číslo, kterým procesor jednoznačně označuje konkrétní buňku operační paměti, obvykle jeden bajt. Program pomocí adresy říká, odkud má data načíst nebo kam je zapsat. Adresy tvoří souvislý číselný rozsah, jehož velikost určuje šířka adresní sběrnice a architektura, typicky 32 nebo 64 bitů.
• AI etikaAI etika je obor, který zkoumá, jaké dopady mají systémy umělé inteligence na lidi, a formuluje pravidla pro jejich návrh, trénink a provoz. Řeší zaujatost dat, transparentnost rozhodování, ochranu soukromí, odpovědnost za chybu i bezpečnost modelu. Ve firemní praxi se promítá do interních politik, dokumentace modelů a povinností podle regulace typu AI Act.