Umělá inteligence

Teplota modelu je parametr vzorkování, který u generativních jazykových modelů řídí, jak moc se pravděpodobnosti dalších tokenů zplošťují před náhodným výběrem. Nízká teplota vede k předvídatelnému a opakovatelnému textu, vysoká teplota zvyšuje rozmanitost i riziko nesmyslů. Teplota nemění naučené znalosti modelu, pouze způsob výběru z jeho rozdělení.

Token je krátká jednotka informace, která v daném systému zastupuje oprávnění, identitu, část textu nebo syntaktický prvek. Význam závisí na kontextu: v API bývá nositelem přístupu, v parseru výsledkem lexikální analýzy a v AI jednotkou, podle které model zpracovává text.

Transformer je architektura neuronové sítě postavená na mechanismu pozornosti (self-attention), která zpracovává celou sekvenci najednou místo prvku po prvku. Publikovaná byla v roce 2017 v práci Attention Is All You Need a stala se základem dnešních jazykových modelů, překladačů i modelů pro obraz a zvuk.

Trénovací data je odborné označení pro datovou sadu, ze které se model strojového učení učí vztahy mezi vstupy a očekávanými výstupy. Mohou obsahovat texty, obrázky, tabulky, zvuk nebo události z aplikace. Jejich kvalita, reprezentativnost a správné oddělení od testovacích dat zásadně ovlivňují spolehlivost modelu.

Trénování modelu je proces, při kterém algoritmus strojového učení opakovaně upravuje vnitřní parametry (váhy) tak, aby jeho předpovědi na trénovacích datech co nejméně chybovaly. Chybu měří ztrátová funkce, směr úpravy určuje gradient. Výsledkem je model, který se naučené vzory dokáže aplikovat i na data, jež nikdy neviděl.