AI-woordenboek / Kwantyzacja
🏗️ Modellen en training
Kwantyzacja
Het model slanker maken door getallen met minder precisie op te slaan - werkt sneller en op zwakkere hardware.
Kwantisatie is een techniek om het model slanker te maken: de gewichten worden opgeslagen met lagere numerieke precisie (bijv. 4-bit in plaats van 16-bit), waardoor het bestand meerdere keren minder geheugen inneemt en berekeningen versnellen. De prijs is een klein, vaak onmerkbaar kwaliteitsverlies. Dankzij kwantisatie kun je grote open modellen draaien op een thuiscomputer met grafische kaart, of zelfs op een laptop. Populaire formaten van gekwantiseerde modellen circuleren in de self-hosting-community en vormen de basis voor lokaal draaien van AI.
Gerelateerde begrippen