AI-woordenboek / VRAM
⚙️ Technika
VRAM
Geheugen van de grafische kaart - dit bepaalt hoe groot een model je lokaal kunt draaien.
VRAM is het werkgeheugen van de grafische kaart. Bij lokaal draaien van AI is dit de belangrijkste beperking: het model moet in het VRAM passen om snel te werken. Vandaar dat de eerste vraag bij self-hosting niet "welke processor" is, maar "hoeveel VRAM heb je". Indicatief: kleine modellen passen in 8 GB, middelgrote hebben tientallen GB's nodig, en grote - tientallen gigabytes. Kwantisatie laat je een groter model in minder geheugen proppen ten koste van een beetje kwaliteit; een alternatief is gedeeld geheugen in Apple-computers.
Gerelateerde begrippen