Kvantizace modelu (Model quantization)

Příklady z praxe

1. 01

   Model 7B na notebooku bez dedikované grafiky

   Jazykový model se 7 miliardami parametrů zabírá ve FP16 zhruba 14 GB, což se do běžného notebooku nevejde. Po 4bitové kvantizaci do formátu GGUF klesne velikost souboru přibližně na 4 GB a model se rozběhne na CPU s 8 GB volné RAM. Odezva je v jednotkách tokenů za sekundu a kvalita odpovědí u běžných úloh zůstává blízko originálu.

2. 02

   INT8 kvantizace klasifikátoru v PyTorch

   U menší konvoluční sítě pro klasifikaci obrázků stačí dynamická post-training kvantizace lineárních vrstev. Model se zmenší přibližně čtyřnásobně a inference na CPU zrychlí, aniž by se sahalo na trénovací pipeline. Přesnost se pak porovná na stejné validační sadě jako u FP32 verze.

   import torch
   
   model_fp32 = MyClassifier()
   model_fp32.load_state_dict(torch.load("model.pt"))
   model_fp32.eval()
   
   model_int8 = torch.quantization.quantize_dynamic(
       model_fp32,
       {torch.nn.Linear},
       dtype=torch.qint8,
   )
   
   torch.save(model_int8.state_dict(), "model_int8.pt")

Časté omyly

MýtusKvantizace model zrychlí vždy, je to přece méně bitů.

Ve skutečnostiZrychlení nastane jen tehdy, když cílový hardware a runtime umí daný formát počítat nativně. Pokud se kvantizované váhy musí za běhu rozbalovat zpět do float, výsledek může být pomalejší než původní model.

MýtusČtyřbitová kvantizace model prakticky nezhorší, testy to ukazují.

Ve skutečnostiPrůměrné skóre na běžných benchmarcích opravdu klesá málo, ale ztráta se koncentruje do konkrétních schopností: aritmetika, dlouhý kontext, méně zastoupené jazyky nebo přesné dodržení formátu výstupu. Bez vlastního vyhodnocení na cílové úloze je číslo z benchmarku málo vypovídající.

MýtusKvantizovaný model se nedá dál dolaďovat.

Ve skutečnostiDoladění kvantizovaného modelu je běžná praxe, typicky pomocí adaptérů LoRA nad zmrazenými kvantizovanými vahami. Alternativou je quantization-aware training, kdy se zaokrouhlování simuluje přímo během učení.

Časté dotazy

Kolik paměti kvantizace modelu reálně ušetří?

Kvantizace modelu zmenšuje váhy zhruba podle poměru bitových šířek. Přechod z 32 bitů na 8 bitů znamená přibližně čtyřnásobnou úsporu, z 16 bitů na 4 bity zhruba čtyřnásobnou také. Úspora se ale netýká celé paměťové stopy: při inferenci zabírá místo i cache klíčů a hodnot, aktivace a režie runtime, které kvantizované být nemusí. U dlouhého kontextu může KV cache dokonce převážit velikost samotných vah, takže reálná úspora bývá menší, než napovídá poměr bitů.

Jak poznám, že kvantizace poškodila model příliš?

Poškození se pozná srovnávacím měřením proti původnímu modelu na stejné testovací sadě, ideálně složené z úloh, které aplikace skutečně řeší. U jazykových modelů se sleduje perplexita jako rychlý indikátor a vedle toho konkrétní metriky úlohy: přesnost odpovědí, dodržení JSON formátu, kvalita ve výstupním jazyce. Varovné signály jsou opakování textu, rozpad na delších vstupech a chyby v jednoduchých výpočtech. Pokud pokles překročí předem stanovenou hranici, je namístě mírnější formát nebo quantization-aware training.

Který kvantizační formát zvolit pro nasazení na server s GPU?

Pro serverové GPU je rozumným výchozím bodem INT8 nebo FP8 tam, kde ho čip podporuje, protože obojí běží nativně na tensor jednotkách a nabízí předvídatelnou kvalitu. Pokud je limitem VRAM, sahá se u jazykových modelů po 4bitových metodách typu GPTQ nebo AWQ, které kvantizují váhy s ohledem na chybu měřenou na kalibračních datech. Volbu vždy rozhoduje kombinace hardwaru a inference runtime, ne samotný formát: stejná váhová reprezentace může mít na dvou serverech výrazně odlišnou propustnost.

Vyplatí se kvantizace i u malých modelů na mobilu?

Kvantizace modelu má na mobilních zařízeních obvykle větší přínos než na serveru, protože šetří baterii, paměť i čas startu aplikace. Mobilní NPU a DSP navíc často počítají výhradně celočíselně, takže INT8 je zde spíš podmínkou nasazení než optimalizací. U malých sítí ale bývá citlivost na kvantizaci vyšší, protože chyba se rozloží mezi méně parametrů. Proto se u nich častěji sahá po quantization-aware training, které ztrátu přesnosti z velké části vrátí zpět.

Zdroje

1. Quantization(otevře se v novém okně)PyTorch
2. Post-training quantization(otevře se v novém okně)TensorFlow
3. Quantization(otevře se v novém okně)Hugging Face
4. Quantization (signal processing)(otevře se v novém okně)Wikipedia

Související pojmy

• Fine-tuningFine-tuning je úprava již předtrénovaného modelu strojového učení na menší sadě cílených dat, aby lépe zvládal konkrétní úlohu, doménu nebo styl odpovědí. Místo učení od nuly navazuje na existující znalosti modelu a mění část jeho parametrů nebo přidává malé trénovatelné vrstvy.
• GPUGPU je specializovaný procesor navržený pro masivně paralelní výpočty, zejména vykreslování grafiky a zpracování maticových operací. Oproti CPU má mnoho jednodušších výpočetních jednotek, které současně provádějí podobné instrukce nad velkým objemem dat, například pixely, vertexy, texturami nebo tenzory ve strojovém učení.
• InferenceInference je fáze, kdy se už natrénovaný model, pravidlový systém nebo jiný mechanismus rozhodování použije na nová vstupní data a vrátí výsledek. Ve strojovém učení jde typicky o predikci, klasifikaci nebo generování odpovědi bez úpravy vah modelu, zatímco náklady řeší latence, paměť a provoz.
• Large language modelLarge language model je neuronový jazykový model trénovaný na rozsáhlých textech, který z kontextu předpovídá a generuje posloupnosti tokenů. Používá se pro chat, sumarizaci, překlad, práci s kódem i vyhledávání informací, ale výstupy mohou obsahovat chyby, zkreslení nebo neověřené domněnky.
• Adresa v pamětiAdresa v paměti je číslo, kterým procesor jednoznačně označuje konkrétní buňku operační paměti, obvykle jeden bajt. Program pomocí adresy říká, odkud má data načíst nebo kam je zapsat. Adresy tvoří souvislý číselný rozsah, jehož velikost určuje šířka adresní sběrnice a architektura, typicky 32 nebo 64 bitů.
• AI agentAI agent je softwarový systém, který pomocí modelu umělé inteligence vnímá zadaný kontext, plánuje další kroky a samostatně volá nástroje nebo služby k dosažení cíle. Na rozdíl od jednorázového promptu udržuje stav úlohy, vyhodnocuje výsledky akcí a může opakovat postup, dokud nesplní zadání nebo nenarazí na limit.
• AI etikaAI etika je obor, který zkoumá, jaké dopady mají systémy umělé inteligence na lidi, a formuluje pravidla pro jejich návrh, trénink a provoz. Řeší zaujatost dat, transparentnost rozhodování, ochranu soukromí, odpovědnost za chybu i bezpečnost modelu. Ve firemní praxi se promítá do interních politik, dokumentace modelů a povinností podle regulace typu AI Act.
• AndroidAndroid je operační systém postavený nad linuxovým jádrem, který vyvíjí Google a otevřeně uvolňuje jako projekt AOSP. Android pohání převážnou většinu chytrých telefonů, dále tablety, televize, hodinky i palubní systémy aut. Aplikace se pro něj píší hlavně v Kotlinu nebo Javě a distribuují přes Google Play i alternativní obchody.