› Op de ochtend van 8 november verscheen op Hacker News een repository met een duizelingwekkende belofte: DeepSeek V4 Flash, een model met 284 miljard parameters, op 64 GB gewone RAM en zonder grafische kaart.
› De eerste reactie stelde één vraag: met welke quantisatie?
› Het antwoord: gemiddeld 1,71 bit per gewicht.
› Ik las de documentatie, bekeek of het model op mijn computer zou passen en rekende uit wat de API kost.llama-modchip in het kort (stand van zaken op 9 november 2026)Wat het is: patches voor llama.cpp en een aangepaste modelbestand van DeepSeek-V4-Flash-0731, met Apache 2.0-licentie, versie 2.4.0.Modelbestand: 60,73 GB op schijf; piekgebruik van 57,6-58,9 GiB geheugen bij een context van 256 duizend tokens.Snelheid volgens de auteurs (laptop met Ryzen 9 9955HX, 16 cores, Linux): 9,1-10 tokens per seconde bij het genereren van antwoorden, met voorspelling tot 14,7; prompts worden gelezen met ongeveer 44 tokens per seconde.De kant-en-klare toepassing is alleen beschikbaar voor Linux x86_64.