Strojové učení

Teplota modelu je parametr vzorkování, který u generativních jazykových modelů řídí, jak moc se pravděpodobnosti dalších tokenů zplošťují před náhodným výběrem. Nízká teplota vede k předvídatelnému a opakovatelnému textu, vysoká teplota zvyšuje rozmanitost i riziko nesmyslů. Teplota nemění naučené znalosti modelu, pouze způsob výběru z jeho rozdělení.

Time series je posloupnost měření nebo událostí uspořádaných podle času, kde pořadí a rozestupy mezi záznamy nesou význam. Používá se pro sledování trendů, sezónnosti, výkyvů a změn v čase, například u metrik aplikace, cen akcií, počasí, prodejů nebo senzorových dat.

Transformer je architektura neuronové sítě postavená na mechanismu pozornosti (self-attention), která zpracovává celou sekvenci najednou místo prvku po prvku. Publikovaná byla v roce 2017 v práci Attention Is All You Need a stala se základem dnešních jazykových modelů, překladačů i modelů pro obraz a zvuk.

Trénovací data je odborné označení pro datovou sadu, ze které se model strojového učení učí vztahy mezi vstupy a očekávanými výstupy. Mohou obsahovat texty, obrázky, tabulky, zvuk nebo události z aplikace. Jejich kvalita, reprezentativnost a správné oddělení od testovacích dat zásadně ovlivňují spolehlivost modelu.

Trénování modelu je proces, při kterém algoritmus strojového učení opakovaně upravuje vnitřní parametry (váhy) tak, aby jeho předpovědi na trénovacích datech co nejméně chybovaly. Chybu měří ztrátová funkce, směr úpravy určuje gradient. Výsledkem je model, který se naučené vzory dokáže aplikovat i na data, jež nikdy neviděl.