LLM-vergelijking in het Pools: 4 open modellen getest

👁 114 keer gelezen

De open-weight releases van medio oktober 2026 boden mij een uitgelezen kans voor een directe LLM-vergelijking: vier recente AI modellen, identieke korte opdrachten en een taal buiten de gebruikelijke Engelstalige benchmarkdiscussies. Mijn test in het Pools vond plaats op 19 oktober via de API. DeepSeek V4.1 Flash 1017 en Nemotron 3.5 Super VL behaalden een perfecte score van 12/12, Muse Spark Open haalde 11/12 en Step 5 Preview bleef steken op 9/12.

Methode: een LLM-vergelijking met controleerbare taken

In totaal stuurde ik 48 verzoeken via de API, zonder herhalingen per afzonderlijke taak. Dezelfde prompts en generatie-instellingen werden naar alle vier de modellen gestuurd. Een verificatiescript toetste de geretourneerde tekst aan vooraf gedefinieerde criteria. De opgeslagen logbestanden bevatten de responstijd, verbruikte completion tokens, kosten, het daadwerkelijke antwoord en het finale resultaat (geslaagd of gezakt). Welke specificaties deze architecturen hebben, hoe groot ze zijn en onder welke voorwaarden ze worden gedistribueerd, lees je in mijn overzicht van open-weight AI-modellen.

De opdrachten waren bewust beknopt gehouden. Sommige vereisten een exact numeriek antwoord, terwijl vragen over grammatica en opmaak ruimte lieten voor geldige alternatieven. Het doel was controleren of een open source LLM binnen een uniform tokenbudget tot een acceptabel resultaat kon komen.

• Bereken 37 keer 48 min 125.
• Geef de Poolse genitief meervoud van “przyjaciel” (vriend).
• Tel het aantal keren dat de letter “ż” voorkomt in een Poolse zin.
• Extraheer het btw-nummer, het brutobedrag en de datum uit een factuurfragment naar JSON.
• Bereken het controlecijfer van een Pools PESEL-identificatienummer op basis van opgegeven cijfers en gewichten.
• Wijs de jongste persoon aan in een logische puzzel over leeftijden.
• Noem de dag van de week voor 11 november 1918.
• Schrijf exact drie Poolse woorden in kleine letters over de herfst.
• Noem het aantal woiwodschappen (bestuurlijke regio’s) van Polen.
• Reken 2,5 uur om naar seconden.
• Verbeter een Poolse zin met opzettelijke spel- en interpunctiefouten.
• Zet de getallenreeks 2, 6, 12, 20, 30 voort.

De API kan opeenvolgende verzoeken naar verschillende serving-backends routeren. Het instellen van temperatuur 0 heft die infrastructurele variatie niet op. De gemeten doorlooptijden weerspiegelen de API-aanroepen op die specifieke dag en vormen geen laboratoriumtest op identieke hardware.

Resultaten en kosten van de testronde

De bedragen in de tabel zijn afgeronde sommen uit de opgeslagen verbruiksstatistieken. De volledige testsessie kostte in totaal $0,11081294, oftewel ongeveer $0,11. Dit weerspiegelt de historische meting via de API op 19 oktober 2026 en dient niet als actuele prijsopgave voor andere workloads.

Het tokenverbruik verschilde enorm tussen de AI modellen: DeepSeek verbruikte 1.283 tokens, Nemotron 3.868, Muse 12.241 en Step 19.672 tokens. Deze aantallen omvatten zowel het interne redeneerproces als de uiteindelijke antwoordtekst. Een model kan daardoor aanzienlijk meer rekencapaciteit consumeren zonder dat dit resulteert in een langere zichtbare tekst.

De mediane tijden verhullen bovendien uitschieters. De langste individuele verzoeken duurden 2,4 seconden voor DeepSeek, 11,7 seconden voor Nemotron, 126,3 seconden voor Muse en maar liefst 230,1 seconden voor Step. In een interactieve gebruikersomgeving kan één vastlopend verzoek doorslaggevend zijn, zelfs als de typische responstijd laag ligt.

Foutieve antwoorden bleken lege responses

Muse Spark Open faalde op het omrekenen van uren naar seconden (2,5 uur = 9.000 seconden). Step 5 slaagde niet in de drie-woorden-opdracht over de herfst, de vraag over de bestuurlijke regio’s en de spellingscorrectie. Bij elk van deze vier mislukte aanroepen bevatte het logbestand een lege response en exact 6.000 completion tokens. Het beschikbare budget raakte volledig uitgeput tijdens het redeneren voordat het model toekwam aan het genereren van een finaal antwoord.

Dat onderscheid is technisch van belang: het falen zat niet in een verkeerde rekensom of een foutieve grammaticafractie, maar in het uitblijven van bruikbare output. Omdat de API-respons de tussenliggende redeneerstappen niet bewaarde, valt niet exact te herleiden waar de modellen in een interne loop terechtkwamen.

Een hogere tokenlimiet toekennen had de uitkomst wellicht kunnen veranderen. Dat heb ik binnen deze opzet niet getest. Zonder verificatie blijft de aanname dat een model bij een ongelimiteerd budget vanzelf het juiste antwoord vindt puur speculatief.

Waarom ik het beoordelingscriterium voor spelling aanpaste

De spellingsopdracht luidde: “Wziąść parasol bo napewno bedzie padać.” Mijn initiële validatieregel zocht strikt naar de gecorrigeerde infinitief “wziąć” (nemen), gecombineerd met de juiste spelling van “na pewno” (zeker) en “będzie” (zal). Muse, DeepSeek en Nemotron produceerden echter: “Weź parasol, bo na pewno będzie padać.”

De zinsnede “Weź parasol” is een volkomen correcte Poolse gebiedende wijs die “Neem een paraplu” betekent. Dat is een volwaardige en taalkundig natuurlijke correctie van de instructie. Ik heb de beoordelingsregel aangepast en deze drie modellen alsnog een punt toegekend. Het antwoord van Step 5 was leeg, waardoor de score voor dat model ongewijzigd bleef.

Dergelijke nuances zijn cruciaal bij het evalueren van AI modellen in andere talen dan het Engels. Wanneer een testscript te rigide vasthoudt aan één specifieke formulering, worden valide taalkundige varianten onterecht afgestraft. Het expliciet documenteren van deze correctie voorkomt vertekende benchmarkscores.

De overige controles waren opzettelijk flexibel ingericht. Het parseren van de factuurgegevens accepteerde JSON-objecten binnen markdown codeblokken, en de controlecijfer-test vereiste enkel dat het berekende cijfer aanwezig was. De scores weerspiegelen zodoende of de kerntaak inhoudelijk slaagde, niet of de opmaak strikt minimalistisch bleef.

Lessen voor niet-Engelstalige AI-evaluaties

Het meest concrete resultaat uit mijn test is dat DeepSeek V4.1 Flash 1017 en Nemotron 3.5 Super VL deze specifieke set foutloos doorliepen, terwijl Muse Spark Open één punt verloor door een time-out op redeneertokens. Methodologisch toont dit aan dat redeneerbudgetten en taalgevoelige validatie even belangrijk zijn als pure feitelijke accuraatheid. Fabrieksclaims bieden geen garantie voor praktische inzetbaarheid in een specifieke taal.

Wie een evaluatie opzet voor het Nederlands of een andere taal, doet er goed aan taken te ontwerpen rond de eigen grammatica, regionale benamingen, datumnotaties en morfologie. Een letterlijke vertaling van Engelstalige prompts mist vaak juist de linguïstische knelpunten die je wilt onderzoeken.

• Registreer systematisch of er een antwoord binnenkwam, of de inhoud klopte en of het formaat direct verwerkbaar was.
• Inspecteer afgekeurde antwoorden handmatig om te controleren of er sprake is van legitieme taalvariatie.
• Houd redeneerlimieten en sampling-parameters altijd gekoppeld aan de testscores.
• Voer representatieve taken vaker uit om infrastructurele variabiliteit vast te leggen.
• Houd teksttests strikt gescheiden van multimodale taken zoals scans of audioverwerking.

In deze testsessie zijn geen opdrachten in het Nederlands, Engels, Duits of Frans geëvalueerd; de resultaten kunnen dan ook niet zomaar naar die talen worden gegeneraliseerd. Complexe tekstcreatie, broncode-analyse en lange-contextverwerking vielen eveneens buiten dit onderzoek. Zoek je modellen voor een lokaal testsysteem op een consumenten-GPU, bekijk dan mijn eerdere test van lokale modellen op een RTX 4090. Meer praktijktests vind je in het Lab van Helderte.

Veelgestelde vragen

Heeft een van de modellen een inhoudelijk foutief antwoord gegeven?

Na de aanpassing van de spellingsregel doorstond elk niet-leeg antwoord de validatiecontrole. Omdat sommige controles enige extra opmaak toelieten, betekent dit overigens niet dat alle instructies tot in het kleinste detail werden gevolgd.

Zijn deze AI modellen lokaal getest?

Nee. Alle aanroepen verliepen via de API. De gemeten snelheden en kosten zeggen niets over lokale interferentie op een eigen videokaart of de prestaties van een handmatig gedownload modelbestand.

Bewijst een score van 12/12 dat een model productierijp is?

Nee. Het toont uitsluitend aan dat het model slaagde voor twaalf specifieke, eenmalig uitgevoerde prompts. Voor een betrouwbare productie-implementatie zijn herhaalde metingen en taakspecifieke datasets onmisbaar.

// lees verderAI beeldgeneratoren vergelijking: 8 modellen getestBenchmarksAI-modellentest: 7 modellen en 4 opdrachten vergelekenBenchmarksYuE2 getest: hoe goed zingt het model in het Pools?Benchmarks