Beslismodellen vs kleine taalmodellen: kosten en snelheid

👁 120 keer gelezen

In de Decision Index reageren beslismodellen 3 tot meer dan 20 keer sneller dan kleine taalmodellen. Toch scoort Claude Haiku 5.5 (low) hoger op de totaalscore dan elk beslismodel. Voor de kosten bestaat geen vaste regel: ze hangen af van het specifieke model en van het aantal betaalde outputtokens bij een LLM. Hieronder zet ik metingen van Artificial Analysis, API-prijzen en een transparante tokenberekening naast elkaar.

Gegevens bijgewerkt op 13.10.2026. Met ‘kleine taalmodellen’ bedoel ik hier de goedkopere varianten uit het aanbod van de makers (Haiku, Luna, Flash, Gemma), niet modellen waarvan het aantal parameters is bevestigd. In de gids AI-beslismodellen lees je wat een beslismodel is en welk model bovenaan de ranglijst staat. Een berekening van de besparing op een miljoen classificaties en een cascadecalculator vind je in de aparte gids Een beslismodel in plaats van een LLM. Hier vergelijk ik alleen kleine LLM’s met beslismodellen.

Vergelijk eerst dezelfde taak

Een beslismodel geeft een keuze en de waarschijnlijkheid van elke optie terug. In de Decision Index krijgen gewone taalmodellen dezelfde taken, maar moeten ze antwoorden in een vast JSON-formaat. Zo lossen beide modeltypen dezelfde vragen op, ook al produceren ze hun antwoord op een andere manier (AA-methodologie).

Vergelijk daarom niet de Decision Index-score van het ene model met de Intelligence Index-score van een ander: dat zijn verschillende schalen, ook al staan ze allebei op de site van Artificial Analysis. Let ook op de variant bij de naam van een LLM. Haiku 5.5 in de varianten low, medium, high, xhigh en max staat bij AA als vijf afzonderlijke regels, met elk een andere score, prijs en responstijd.

En nog iets: de juiste categorie kiezen is niet hetzelfde als een klant een antwoord geven. Moet je proces na de beslissing ook een toelichting of bericht produceren, dan komt daar een tekstgeneratiestap bij. Een classificatiemodel vergelijken met een volledig tekstueel antwoord verandert wat je meet.

Score, kosten en snelheid volgens AA

Bron: de live Decision Index-ranglijst van AA, geraadpleegd op 13.10.2026, met de vergelijking van taalmodellen ingeschakeld. De tabel bevat alle 11 beslismodellen uit de ranglijst en een selectie kleine LLM’s. De beste waarde per kolom is vetgedrukt. De regel voor Gemini is een ontbrekend gegeven, geen score van nul.

AA berekent de kosten op basis van tokenverbruik en actuele prijzen en schaalt de gemiddelde kosten per taak vervolgens op naar een miljoen taken. Voor beslismodellen betaal je alleen voor input, voor LLM’s voor input en output. De tijd is de mediaan van de index-taken. De kosten zijn dus geen prijs voor ‘een miljoen willekeurige beslissingen’, maar een berekening voor een specifieke set vragen.

Wat valt uit de tabel op?

• Haiku 5.5 (low) haalt de hoogste score: het model staat 3,1 punten boven Jev, maar is volgens AA ongeveer 11 keer langzamer en 4,4 keer duurder.
• Een modelcategorie garandeert geen lagere prijs: Clef kost meer dan Haiku 5.5 (low) en GPT-6 Luna (low), maar reageert sneller. Clef-Omni kost meer dan Luna in de non-reasoning-variant.
• Een grotere LLM is niet automatisch beter in beslissingen: Gemma 4 31B met reasoning is in deze vergelijking het duurste en langzaamste model, terwijl de score maar net boven die van Luna (low) ligt.
• Goedkoopste opties: Decider v1.1 27B, Microsoft-Decision-1 en Jev 1.13 zitten volgens AA op de grens van kosteneffectiviteit: de beste score voor de prijs.

Nauwkeurigheid hangt af van het soort beslissing

De hoogste indexscore betekent niet dat een model in elk onderdeel beter is. Volgens de analyse van AA blinken LLM’s uit in kennis. De beste beslismodellen evenaren of overtreffen ze bij veiligheidclassificatie en beslissingen over het gebruik van tools.

Bronnen voor de cijfers, geraadpleegd op 13.10.2026: AA-grafieken voor AA-Omniscience-Decision, HLE-MultiChoice, When2Call en WildGuardTest. De laatste kolom bundelt de beste scores van verschillende modellen en beschrijft dus niet één systeem. In het nieuwsartikel over de Decision Index-ranglijst lees je hoe de index is opgebouwd en wat elke test meet.

Praktisch gezien is een beslismodel een serieuze kandidaat als je bijvoorbeeld berichten aan duidelijk omschreven categorieën wilt koppelen of de volgende stap van een agent wilt kiezen. Vereist de beslissing kennis die niet in de vraag staat, dan heeft een kleine LLM een duidelijk voordeel. Dit is een aanwijzing voor het kiezen van een testset, geen belofte dat je bedrijf dezelfde resultaten haalt.

API-prijzen: aparte tabel, aparte eenheden

Prijsbronnen, geraadpleegd op 13.10.2026: Anthropic, OpenAI, Google en Cloudflare. De tarieven voor beslismodellen zijn afkomstig van de makers en verzameld in de gids. De tarieven voor Haiku en Luna komen overeen met de kosten die OpenRouter mij in rekening bracht voor de vragen in mijn test van 13.10. De tabel houdt geen rekening met cache, kortingen voor batchverwerking en toeslagen voor verwerking in de EU.

Let op Gemini 3.8 Flash: Google vermeldt de tarieven van 0,75 en 3,75 USD als geldig tot eind 2026. Controleer de actuele prijslijst voordat je voor het volgende jaar gaat rekenen. Controleer bij alle LLM’s ook of je input de grens voor lange context niet overschrijdt; daarboven kunnen andere tarieven gelden.

De eurobedragen zijn schattingen, geen lokale checkoutprijzen. Omgerekend op basis van de ECB-referentiekoers van 14.10.2026: 1 EUR = 1,1195 USD. Bron: ECB-wisselkoers.

Wat kost een miljoen taken met expliciete aannames?

Dit is een scenario, geen benchmark. Ik ga uit van een miljoen aanroepen met telkens 1000 factureerbare inputtokens. Voor LLM’s vergelijk ik 50 en 500 factureerbare outputtokens per taak, inclusief betaalde reasoning. Dit zijn gekozen verbruikswaarden, geen voorspelling van de antwoordlengte van een model.

Kosten voor 1 mln taken in USD =
inputtokens per taak * prijs per 1 mln inputtokens
+ outputtokens per taak * prijs per 1 mln outputtokens

Haiku, variant met 50 outputtokens:
1000 * 0.10 + 50 * 0.50 = 125 USD

Eigen berekeningen op basis van prijslijsten van 13.10.2026. Beslismodellen genereren geen tekst, dus hun kosten veranderen niet met het outputbudget. Vetgedrukt staat de laagste prijs in het scenario, niet de winnaar op kwaliteit.

• Bij korte output zijn Haiku en Luna goedkoper dan Clef via Workers AI; bij langere output draait die verhouding om.
• In deze berekening is Gemini 3.8 Flash bij beide outputbudgetten 7,5 keer duurder dan Haiku en Luna.
• Als extra outputtokens nodig zijn voor een toelichting, kan een beslismodel die niet vervangen. Een tweede model voor tekstgeneratie betekent een extra aanroep die je moet meetellen.

De aanname van 1000 tokens voor elke taak is een vereenvoudiging: tokenizers tellen dezelfde tekst verschillend. In mijn test had één Poolse melding met vragen ongeveer 205 tokens bij Mercury Decide en ongeveer 650 bij Jev. Haiku kreeg met instructies en JSON-schema gemiddeld 782 inputtokens. Dit voorbeeld is een vertaling van het Poolse testmateriaal; de test zelf is in het Pools uitgevoerd. Noteer daarom bij een echte vergelijking het verbruik dat de API rapporteert, in plaats van het af te leiden uit de lengte van een bericht.

Responstijd: wanneer is de beslissing klaar?

Bij classificatie telt het moment waarop de applicatie de volgende stap kan uitvoeren. Het eerste teken van een begonnen JSON-antwoord is nog geen beslissing. De tijd tot de eerste token en de generatiesnelheid vervangen dus geen meting van het volledige antwoord.

Mijn test van 13.10.2026, met vragen vanuit Polen via OpenRouter en dus inclusief netwerktijd, bevestigt de richting van de AA-resultaten:

• Beslismodellen: mediane tijd van 310-619 ms (Clef-Omni was het snelst, Mercury Decide het langzaamst).
• GPT-6 Luna (low): 1371 ms.
• Claude Haiku 5.5 (low): 1689 ms.
• Gemini 3.8 Flash: in een aparte API-test van 5.10.2026 was de mediaan 1822 ms voor 30 Poolse meldingen (afdeling 30/30, urgentie 26/30). Dit was een andere set en een andere dag, dus ik voeg dit cijfer niet toe aan de AA-tabel. De test is in het Pools uitgevoerd.

De mediaan laat het midden van de verdeling zien, niet de langzaamste antwoorden waarop een gebruiker moet wachten. Noteer in je eigen test ook de lange staart van de verdeling, fouten en nieuwe pogingen. Hoeveel uur het kost om een miljoen beslissingen achter elkaar te verwerken en wat aanvraaglimieten veranderen, berekende ik in de gids over kosten.

Nauwkeurigheid op Poolse tekst: kleine LLM’s blijven iets voor

Op 47 eenduidige Poolse meldingen uit mijn test classificeerden de beslismodellen de afdeling in 41-44 gevallen correct. Claude Haiku 5.5 (low) en GPT-6 Luna (low) deden dat in 45 gevallen. Een verschil van één tot drie meldingen in zo’n kleine steekproef ligt dicht bij de ruis, maar komt overeen met de AA-resultaten: bij eenvoudige classificatie hebben kleine LLM’s een licht voordeel, dat je betaalt met tijd en geld. De test is in het Pools uitgevoerd; dit is geen benchmark voor het Nederlands. De volledige resultaten van alle 11 modellen staan in de gids.

Wanneer kies je welke variant?

• Beslismodel: als de uitvoer van een stap een label of keuze van een actie is en je duizenden beslissingen hebt. Test kandidaten met dezelfde voorbeelden en gebruik waarschijnlijkheden om onzekere gevallen door te sturen.
• Claude Haiku 5.5: als je een beslissing moet combineren met tekst of met kennis buiten de vraag. De low-variant heeft in deze vergelijking de hoogste score, maar reageert meer dan 10 keer langzamer dan de snelste beslismodellen.
• GPT-6 Luna: de hoogste nauwkeurigheid op kennisvragen van de vergeleken varianten (66,0), maar in deze test kiest het model praktisch nooit ‘ik weet het niet’ (0,0) en gokt het dus vaker. Houd de regels voor low, non-reasoning en Decisions apart: het zijn verschillende scores, kosten en responstijden.
• Gemini 3.8 Flash: vereist een eigen, vergelijkbare test. Met de prijslijst kun je een scenario berekenen, maar daarmee wordt de ontbrekende Decision Index-score niet ingevuld.

Veelgestelde vragen

Is een beslismodel altijd goedkoper dan een kleine LLM?

Nee. In de AA-meting kost Clef circa €178,12 (199,4 USD) per miljoen taken, meer dan Claude Haiku 5.5 (low) en GPT-6 Luna (low). Het hangt af van het specifieke model, de lengte van de input en betaalde output.

Betekent een miljoen tokens een miljoen taken?

Nee. Eén taak verbruikt honderden tot duizenden tokens. De kosten van een miljoen taken zijn de tokenprijs vermenigvuldigd met het gemeten of expliciet aangenomen verbruik.

Verliest Gemini 3.8 Flash in de Decision Index?

Daarvoor is geen bewijs. Op 13.10.2026 had Gemini 3.8 Flash geen score in de index. Geen meting betekent niet dat het model heeft verloren.

Zijn GPT-6 Luna en GPT-6 Luna Decisions hetzelfde resultaat?

Nee. AA toont de taalmodelvariant apart (low: 55,2 punten; non-reasoning: 49,6) van de Decisions-variant (48,5 punten). Elke variant heeft eigen kosten en responstijden.

Is de indexscore het percentage juiste beslissingen?

Nee. De score combineert vier verschillende maatstaven. Kies voor een specifieke toepassing het onderdeel dat erbij past en test het model met representatieve gegevens.

Openbaarmaking: ik ken Jev van eerder verkennend werk. In september schreef ik er een eenvoudige API-client voor, bedoeld voor mijn eigen redactionele tools. TypeSafe heeft dit artikel niet besteld en niet betaald. Mijn beoordeling is gebaseerd op onafhankelijke metingen van Artificial Analysis en mijn eigen test, waarin alle modellen dezelfde taken kregen.

Eigen tests: 13.10.2026 (50 Poolse meldingen, 11 modellen via OpenRouter vanuit Polen) en 5.10.2026 (30 Poolse meldingen, waaronder Gemini 3.8 Flash via API). De testvragen en meldingen waren Pools; de vertaalde voorbeelden in dit artikel zijn geen nieuwe Nederlandstalige test.

// lees verderGLM-5.3 test: prestaties, snelheid en kostenBenchmarksAI-automatisering: beginnen, kiezen en kosten vergelijkenHandleidingenGPT-6 Astra kosten: wat betaal je echt per miljoen tokens?Magazine

Kinetyra