DeepSeek met 284 miljard parameters in 64 GB RAM zonder GPU

👁 113 keer gelezen

Op de ochtend van 8 november verscheen op Hacker News een repository met een duizelingwekkende belofte: DeepSeek V4 Flash, een model met 284 miljard parameters, op 64 GB gewone RAM en zonder grafische kaart. De eerste reactie stelde één vraag: met welke quantisatie? Het antwoord: gemiddeld 1,71 bit per gewicht. Ik las de documentatie, bekeek of het model op mijn computer zou passen en rekende uit wat de API kost.

Het project llama-modchip verscheen op GitHub op 29 oktober en haalde na een bericht op Hacker News in één dag 431 punten en 193 reacties. Het is geen nieuwe chatapp, maar een reeks aanpassingen voor llama.cpp, de engine waarop de meeste mensen lokaal modellen draaien, plus een aangepast modelbestand op Hugging Face.

Hoe past 284 miljard in 64 GB?

DeepSeek V4 Flash is een MoE-model, oftewel een mengsel van experts. Elk van de 43 lagen bevat 256 gespecialiseerde subnetwerken. Voor elk woord kiest een router er zes uit, plus één gedeelde expert. Daardoor worden van de 284,33 miljard parameters maar 13,17 miljard gebruikt voor één token. Er hoeft dus niet veel te worden berekend, maar het volledige model moet wel in het geheugen staan: voor het volgende woord kan de router andere experts nodig hebben.

Daar begint het comprimeren. De kleinste openbare versie van DeepSeek van Unsloth (UD-IQ1_S) is 76,87 GiB groot. Onder Linux blijft er op een computer met 64 GB ongeveer 62,5 GiB over voor programma’s, dus dat bestand leidt tot wisselgeheugen op schijf of een beëindigd proces. De auteurs brachten het terug tot 56,56 GiB. De meeste experts zijn opgeslagen met 1,56 bit per gewicht, enkele gevoelige lagen aan de randen met 1,75 en 2,06 bit, en de aandacht, embeddings en gedeelde experts bleven op een hogere precisie. Gemiddeld komt dat neer op 1,71 bit. Ter vergelijking: het populaire Q4_0-formaat, dat veel mensen voor Ollama downloaden, gebruikt 4,5 bit per gewicht.

Het model wordt tijdens het gebruik niet vanaf schijf ingeladen. Het volledige bestand staat in RAM, zonder wisselbestand, en dat is een voorwaarde voor deze aanpak. Het tweede deel van het project bestaat uit aangepaste rekenprocedures voor de processor: matrixvermenigvuldiging wordt opgedeeld in stukken die zijn afgestemd op de L1-, L2- en L3-cache, en de gewichten van experts worden verwerkt zonder uit de cache te verdringen wat nodig is voor het volgende woord. Volgens de auteurs steeg de snelheid voor het lezen van prompts van 25 naar 44,36 tokens per seconde, en die voor het genereren van tekst van 5,91 naar 9,06-9,95. Daar komt een kleine module bij die volgende woorden voorspelt, genoemd naar schaakengine Stockfish. Die verhoogt de snelheid tot 11,5-14,7 tokens per seconde.

Al deze cijfers zijn door de projectauteur gemeten op één computer: een laptop met Ryzen 9 9955HX, 16 cores en 64 GB DDR5. De resultaten van andere gebruikers gaan alleen over de kleinere Nemotron 30B.

Verliesvrij - maar vergeleken waarmee?

De auteurs noemen de standaardmodus verliesvrij: de resultaten zijn bit voor bit hetzelfde. Ze vergelijken die resultaten echter met niet-gepatchte software die op hetzelfde, al gecomprimeerde bestand draait. Dat laat zien dat hun versnellingen de berekeningen niet veranderen, maar bewijst niet dat het model op 1,71 bit even goed is als het origineel. De kwaliteitstest van 100 op 100 waar de repository mee pronkt, gaat over Nemotron 30B. Een vergelijking tussen de gecomprimeerde DeepSeek en de volledige versie kon ik niet in de documentatie vinden.

Op Hacker News was dit het belangrijkste discussiepunt. Een reageerder verwees naar onderzoek waaruit zou blijken dat de beste verhouding tussen omvang en kwaliteit bij 4 bit ligt en dat de kwaliteit daaronder snel afneemt. Iemand die versie 0731 gebruikte, schreef dat het model voor hem onder ongeveer 3,75 bit slecht bruikbaar wordt. Een gebruiker met een Ryzen 7945HX en 96 GB testte Nemotron en zag dezelfde generatiesnelheid als met gewone llama.cpp. Ook klaagden meerdere mensen dat de README eruitziet alsof die door AI is gegenereerd.

Dan is er nog de versie. Het project draait DeepSeek-V4-Flash-0731 uit juli. De officiële DeepSeek-API biedt die versie niet meer aan: volgens de prijslijst verwijzen oude modelnamen nu naar de nieuwere V4.1-Flash-1017. De bestanden van dat nieuwere model zijn ongeveer 510 GB groot, zoals ik schreef bij de introductie van versie 1017. Lokaal krijg je dus een oudere DeepSeek in sterk gecomprimeerde vorm; via de API krijg je een nieuwere versie in volledige vorm.

Ik controleerde mijn eigen computer

Ik werk op een workstation met een Intel Core i9-14900KF, een RTX 4090 met 24 GB geheugen en twee DDR5-modules van 32 GB. Windows 11 ziet 63,8 GiB. Op papier is dat genoeg: het piekgebruik van 58,9 GiB past binnen de 63,8. Toen ik op een gewone werkdag mijn geheugengebruik controleerde, met een browser, editor en een paar programma’s open, was er echter 36,4 GiB vrij. Onder Windows, met programma’s open, past dit model dus niet.

Er zijn meer obstakels. Het Windows-pakket ondersteunt alleen kleinere modellen en de kant-en-klare toepassing voor DeepSeek is voor Linux. WSL2 krijgt standaard de helft van het computergeheugen toegewezen, in mijn geval 32 GB. Ik zou die limiet dus moeten aanpassen of Linux naast Windows moeten draaien. Mijn grafische kaart helpt hier niet: de auteurs ondersteunen het Fractal-64-formaat, waarin een deel van het model is opgeslagen, alleen op de processor. Ook mijn processor is niet ideaal, want de belangrijkste versnellingen zijn geschreven voor AVX-512, dat de 14900KF niet heeft. Er is een aparte route voor AVX2, maar in de tabel staat geen DeepSeek-resultaat op Intel.

Ik ontdekte ook iets wat ik niet had verwacht. Mijn Kingston Fury-modules zijn opgegeven voor 6000 MT/s, maar draaien op 4000 MT/s. Bij het genereren van elk token leest de processor de gewichten van actieve experts uit RAM, waardoor de geheugenbandbreedte de snelheid vooral beperkt. Mijn conclusie: na het opstarten in Linux zou het model net moeten passen, maar ik verwacht dat het genereren trager gaat dan bij de auteur, zeker voordat ik het geheugenprofiel in het BIOS inschakel. Ik heb het niet getest. De download van 61 GB en de installatie van Linux zijn werk voor een andere dag; ik ga geen resultaten verzinnen.

De kosten: geheugen of API

DeepSeek rekent tijdens piekuren $ 1,20 per miljoen antwoordtokens, en daarbuiten de helft. Omgerekend is dat ongeveer € 1,07 per miljoen tokens tijdens piekuren en € 0,54 daarbuiten. Voor één miljoen tokens doet de API er dus ongeveer 28-31 uur over om evenveel antwoord te leveren als de lokale processor, die 9-10 tokens per seconde genereert. De elektriciteitskosten en invoertokens zijn niet meegerekend.

Ook het lezen gaat langzaam. Bij 44 tokens per seconde verwerkt de processor een prompt van 10.000 tokens, oftewel enkele pagina’s tekst, in ongeveer 3 minuten en 45 seconden voordat hij het eerste woord genereert.

Een lokale DeepSeek is in drie situaties interessant: als gegevens het bedrijf niet mogen verlaten, als je zonder internet werkt of als je al 64 GB RAM en Linux hebt, zodat het experiment niets extra kost. Voor dagelijks gebruik is de API goedkoper en sneller. Ik beschreef die in de gids DeepSeek: chat, API en kosten. Een andere optie is de gratis chat, waarover ik schrijf in gratis abonnementen of een goedkope API. Modellen die echt goed werken op een gewone computer verzamel ik in de gids lokale AI.

De projectauteur verzamelt resultaten van andere processors via bijdragen op GitHub. Op 9 november kwam de enige meting van DeepSeek 284B in die tabel van hemzelf. Een eerste onafhankelijke meting op een gewone pc met 64 GB zegt meer over dit project dan de volledige README.

Veelgestelde vragen

Kan ik dit model in Ollama of LM Studio draaien?

Nee. Het bestand gebruikt een eigen datatype (Fractal-64) dat gewone versies van llama.cpp, Ollama en LM Studio niet kennen. Die programma’s weigeren het met een foutmelding over een onbekend tensortype. Je hebt de toepassing met de llama-modchip-patches nodig.

Versnelt een grafische kaart DeepSeek in llama-modchip?

Niet in deze versie. Het deel van het model dat in Fractal-64 is opgeslagen, werkt alleen op de processor. De auteurs hebben een modus met grafische kaart gemaakt voor kleinere modellen, Qwen3 en Nemotron 30B.

Hoeveel schijfruimte heb ik nodig?

De drie modelbestanden zijn samen 60,73 GB groot. Tijdens het gebruik staat het model in RAM; de schijf heeft dus alleen invloed op de laadtijd.

Ik heb 32 GB RAM. Wat kan ik draaien?

DeepSeek 284B niet. Voor computers met 16-32 GB stellen de auteurs Nemotron 3.5 30B voor, met een bestand van 14,35 GiB. Volgens hun metingen genereert dat model 25-60 tokens per seconde.

Bronnen

• GitHub: synchopate/llama-modchip - README, FAQ, documentatie over DeepSeek V4 en Windows-pakketten, versie 2.4.0 (geraadpleegd op 9 november 2026)
• Hugging Face: DeepSeek-V4-Flash-0731-Fractal-64GB-CPU-GGUF - bestandsgroottes
• Hugging Face: DeepSeek-V4-Flash-0731 - oorspronkelijk model, MIT-licentie
• Hacker News: discussie van 8 november 2026 - 431 punten, 193 reacties
• DeepSeek: API-prijslijst (geraadpleegd op 9 november 2026)
• Microsoft Learn: WSL-configuratie - standaardgeheugenlimiet
• Wisselkoersbron voor de oorspronkelijke vergelijking
• Eigen controle van de computer (Get-CimInstance, Windows 11), 9 november 2026. Ik heb het model niet gedownload of uitgevoerd.

Wisselkoers: ECB-referentiekoers van 9 november 2026, € 1 = $ 1,1193. Bron: ECB. Omgerekende bedragen zijn schattingen, geen lokale checkoutprijzen.

Gecontroleerd: 9 november 2026.

// lees verderImage to video AI: van foto naar video zonder vervormingAI-toolsJantaris: één API voor alle AI-modellen, zonder abonnementAI-toolsWelke AI om apps te bouwen zonder coderen? Lovable en meerAI-tools

Kinetyra