AI-ordlista
Vad är kvantisering av en AI-modell?
Att lagra en AI-modells tal med lägre precision, så att modellen tar mindre minne och går snabbare.
Uppdaterad 2026-11-13
En modells parametrar lagras normalt som tal med 16 bitars precision. Vid kvantisering avrundas de till färre bitar, till exempel 8 eller 4. Modellen blir då bara en bråkdel så stor och kan köras på en vanlig dator eller ett grafikkort för hemmabruk.
Priset är en viss försämring av kvaliteten, som oftast är liten vid måttlig kvantisering men märks tydligare ju hårdare modellen pressas. Kvantiserade versioner av öppna modeller är vanliga på Hugging Face, ofta i formatet GGUF.
Se även:
Fel i förklaringen? Skicka en rättelse.