Qwen3.6-27B op een RTX 4090: welke kwantisatie past

👁 116 keer gelezen

Qwen3.6-27B duikt steeds vaker op in discussies over lokale AI, als codeerassistent die op één RTX 4090 past. Het is een open model van het Qwen-team van Alibaba onder Apache 2.0, dat commercieel gebruik, aanpassen en verder verspreiden toestaat. Hieronder: wat het model is, waarom het bij lange context opvallend weinig geheugen vraagt en welke kwantisatie je op een kaart met 24 GB kiest. De snelheid hebben we niet gemeten, dus tokens per seconde vind je hier niet - alleen bestandsgroottes, configuratiewaarden en onze eigen VRAM-berekening.

Eerst de datum

Dit is geen release van oktober. De Hugging Face-repo Qwen/Qwen3.6-27B werd op 21 april 2026 aangemaakt en de bestanden zijn voor het laatst gewijzigd op 24 april 2026. Het model bestaat dus al een half jaar, met 754 communitykwantisaties onder de modelkaart en een eigen tagfamilie in Ollama. Nieuw is dat meer mensen het nu als lokale codeerassistent gebruiken.

Dense, geen MoE

Het model heeft 27 miljard parameters (27,8 miljard in BF16) en is dense: voor elk token zijn alle parameters actief. De broer Qwen3.6-35B-A3B is een mixture-of-experts-model met ongeveer 3 miljard actief van de 35 miljard. Die kan sneller zijn, maar vraagt meer geheugen voor de gewichten - geen goede ruil op 24 GB als je ook lange context wilt.

DeltaNet: waarom de KV-cache klein blijft

Qwen3.6-27B heeft 64 lagen, verdeeld over 16 blokken. Elk blok bestaat uit drie Gated DeltaNet-lagen en één gewone attentionlaag. DeltaNet is lineaire attention: in plaats van elk token op te slaan, houdt het een toestand van vaste grootte bij. Daardoor hebben maar 16 van de 64 lagen een KV-cache die meegroeit met de context. In een model met alleen gewone attentionlagen zouden dat er 64 zijn.

Het model leest tekst, afbeeldingen en video. De native context is 262.144 tokens, met YaRN uit te breiden tot ongeveer 1,01 miljoen, al waarschuwt Qwen dat dit de resultaten op korte teksten kan schaden. Qwen raadt ook minimaal 128K context aan om het denkvermogen te behouden. Dat advies bepaalt de hele VRAM-afweging hieronder.

Benchmarks van de maker

Deze cijfers komen van de modelkaart van Qwen. Onafhankelijke herhaling hebben we niet gezien.

Zo lezen we het: bij agentisch programmeren haalt het 27B-model zijn voorganger van 397B in en speelt het gelijk met Claude Opus 4.5 op Terminal-Bench. Maar Opus 4.5 is een oudere generatie; het huidige Opus 5.5 staat niet in de tabel. Algemene kennis (MMLU-Pro) is nauwelijks veranderd ten opzichte van Qwen3.5-27B. Op code ligt het ver voor op Gemma 4 31B.

De VRAM-rekensom (onze berekening)

Dit is een berekening op basis van bestandsgroottes en de modelconfiguratie, geen meting. De gewichten zijn de echte GGUF-groottes uit unsloth/Qwen3.6-27B-GGUF, in decimale GB. De 24 GiB van de RTX 4090 is ongeveer 25,8 GB.

KV-cache: 16 lagen met volledige attention, 4 KV-heads, headdimensie 256. In FP16 is dat 64 KiB per token: 2,15 GB bij 32K, 8,59 GB bij 128K en 17,18 GB bij de volle 262K. Een q8_0-cache halveert dat ongeveer: 1,14, 4,56 en 9,13 GB. De vaste DeltaNet-toestand voegt zo’n 0,15 GB toe. We gaan uit van 1,5 GB reserve voor driver, Windows-bureaublad en rekenbuffers (een aanname), wat ongeveer 24,3 GB bruikbaar overlaat.

De visiemodule (mmproj, F16) voegt 0,93 GB toe en heb je alleen nodig voor afbeeldingen of screenshots. Wat de kwantisatienamen betekenen, leggen we uit in ons stuk over GGUF-kwantisatie.

Onze keuze

Q4_K_M of UD-Q4_K_XL met 128K context en een q8_0-KV-cache. Dat voldoet aan het contextadvies van Qwen voor het denken en laat een paar GB over. Q5_K_M is zinnig voor kortere taken. Q6_K betekent dat je lange context opgeeft, en daarmee in de praktijk agentwerk op een hele repository.

Instellingen: Ollama en llama.cpp

In Ollama is de standaardtag qwen3.6:27b 18-19 GB en qwen3.6:27b-q4_K_M 17 GB. Zet voor lange context flash attention en de q8_0-cache aan en stel de lengte in via een omgevingsvariabele:

OLLAMA_FLASH_ATTENTION=1
OLLAMA_KV_CACHE_TYPE=q8_0
OLLAMA_CONTEXT_LENGTH=131072
ollama run qwen3.6:27b-q4_K_M

In llama.cpp zijn de vergelijkbare opties:

-c 131072 -fa on -ctk q8_0 -ctv q8_0

Twijfel je tussen tools, lees dan onze vergelijking Ollama vs LM Studio. Meer over modellen op eigen hardware vind je in onze test van lokale AI-modellen op een RTX 4090 en onder lokale AI.

Veelgestelde vragen

Draait het op een kaart met 16 GB?

Alleen in sterk gecomprimeerde varianten. Q3_K_M van 13,59 GB laat weinig ruimte voor context. UD-IQ2_M van 10,85 GB laat meer over, ten koste van kwaliteit.

Kan ik het volledige BF16-model draaien?

Niet op één consumentenkaart. De bf16-variant in Ollama is 56 GB.

Hoe snel is het op een 4090?

Dat hebben we niet gemeten, dus noemen we geen getal.

Is de 35B-A3B-versie beter voor een 4090?

Hij kan sneller zijn omdat maar ongeveer 3 miljard parameters actief zijn, maar de gewichten nemen meer geheugen in, en dat gaat af van de ruimte voor lange context.

Mag ik het commercieel gebruiken?

Ja. Apache 2.0 staat commercieel gebruik, aanpassen en verder verspreiden toe.

Bronnen - geraadpleegd op 1 november 2026

• Hugging Face: modelkaart Qwen/Qwen3.6-27B (geraadpleegd 1 november 2026)
• Hugging Face API: metadata van de Qwen3.6-27B-repo (geraadpleegd 1 november 2026)
• Hugging Face: config.json van Qwen3.6-27B (geraadpleegd 1 november 2026)
• Hugging Face: unsloth/Qwen3.6-27B-GGUF (geraadpleegd 1 november 2026)
• Ollama: qwen3.6-tags (geraadpleegd 1 november 2026)
• Gigazine: Qwen3.6-27B (23 april 2026)

// lees verderQwen3.8 Max Prime vs Claude Sonnet 5: welke kiezen?BenchmarksOllama vs LM Studio: welke kies je voor lokale AI?HandleidingenGGUF kwantisatie: Q4_K_M vs Q6_K vs Q8_0 gemetenHandleidingen

Kinetyra