Test van 11 AI-modellen: GPT-6 Astra wint, test had fout

👁 123 keer gelezen

We bouwden een test voor elf modellen: negen taken met code, vertalingen en het volgen van instructies, elk automatisch beoordeeld om subjectiviteit te vermijden. Na het doornemen van de antwoorden bleek dat bij één taak onze automatische test omgekeerd scoorde. Modellen die nul punten kregen, hadden het juiste antwoord gegeven, en die met een punt zaten ernaast.

Dit is interessanter dan de ranking zelf, dus we beginnen hiermee.

De taak waarbij de test fout zat, niet de modellen

We gaven de modellen deze PHP-code en vroegen om de fout in één zin aan te wijzen:

foreach ($lista as $i => $el) {
    if ($el == null) unset($lista[$i]);
}
echo count($lista);

De antwoorden vielen uiteen in twee kampen.

Kamp één: de fout is dat je elementen uit een array verwijdert tijdens het itereren, omdat dit de loop verstoort en elementen overslaat.

Kamp twee: de fout is de losse vergelijking ==, die naast null ook nul, lege strings, false en lege arrays vangt, waardoor er meer wordt verwijderd dan bedoeld.

Onze automatische test zocht in het antwoord naar woorden over modificeren tijdens iteratie, dus beloonde kamp één. We draaiden deze code op een server, op PHP 8.4.25, en het resultaat is eenduidig.

1) alleen nulls: 4 van 7 over, waarden: a,b,c,d
   iteratie sloeg elementen over? NEE, verwijderde precies 3 nulls
2) met nullen en lege waarden: 5 van 10 over, waarden: 'a','b','c','d','0'

Verwijderen in de loop verpestte niets. In PHP werkt een loop over waarden met een kopie van de array, dus verwijderen tijdens de loop is veilig. Maar de losse vergelijking verwijderde wel nul, lege string, false en lege array, precies wat kamp twee zei.

Kamp één herhaalde een regel die waar is in andere talen. Kamp twee kende PHP.

Wie de echte fout herkende

Correct antwoordden vijf van de elf modellen: GPT-6 Astra, Claude Fable 5.1, Gemini 3.8 Flash, GLM 5.3 Flash en Kimi K3. De overige zes gaven de regel over iteratie, of in het geval van Ministral iets anders dat ook onjuist was.

Deze verdeling valt toevallig samen met de prijs: de duurdere modellen herkenden het. Dat is niet altijd zo, en zo meteen laten we een taak zien waar het omgekeerd was.

Resultaten na correctie

Hieronder de scores na het corrigeren van deze taak. We geven ook de kosten van de hele set en de tijd, want bij het kiezen van een model voor je werk zegt het één zonder het ander niets.

Het duurste model won niet

Claude Fable 5.1 kostte 0,11503 dollar, ruim twee keer zoveel als de winnaar, en eindigde een punt lager. Gemini 3.8 Flash scoorde evenveel als Fable tegen twee derde lagere kosten.

Aan de andere kant van het spectrum scoorde Ministral 14B vijf punten voor 0,00019 dollar, evenveel als Claude Haiku 4.5 die zeventien keer duurder was. Het deed dit in 6,2 seconden, het snelst van alle elf.

Code viel verrassend gelijk uit

In de groep programmeertaken waren de verschillen na correctie kleiner dan we verwachtten. Iedereen schreef de functie die een BTW-nummer met controlecijfer controleert. De query met optellen, groeperen en beperking tot tien resultaten lukte ook bij allemaal.

Het hele verschil ontstond bij de taak met de fout, dus waar je niet zozeer code moest schrijven maar begrijpen. Dit is misschien wel de meest praktische observatie van de hele test: code schrijven is tegenwoordig opgelost, zelfs in goedkope modellen, andermans code lezen niet.

Instructies zijn ieders zwakste punt

Het slechtst presteerde de groep taken waarbij het aankwam op het naleven van harde beperkingen. Alleen GPT-6 Astra haalde alle drie.

De taak luidde: schrijf twee zinnen over koffie in het Pools, maar gebruik geen enkele keer de letter “a”. Drie van de elf modellen lukte dit.

Het interessantst zijn de manieren van falen. Twee modellen schreven correcte zinnen, maar begonnen met een inleiding als “Oto dwa zdania bez litery a” (Hier zijn twee zinnen zonder de letter a), waarmee ze zichzelf diskwalificeerden. Eentje begon niet-bestaande woorden te verzinnen: “Kow jest gorący, czarny napój“. Een ander voegde aan het eind een opmerking toe dat het woord “kawa” (koffie) zelf de verboden letter bevat, alsof het zich wilde verontschuldigen.

Correcte antwoorden zagen er zo uit: “Espresso pobudzi umysł. Jego woń koi zmysły“ (Espresso prikkelt de geest. Zijn geur kalmeert de zintuigen) en “Ciemny, gorzki płyn w kubku budzi o świcie uśpione zmysły“ (Donkere, bittere vloeistof in een beker wekt bij dageraad slapende zintuigen).

Praktische conclusie: als je iets bouwt dat zich aan een strikt formaat moet houden, controleer dat apart. Een model dat prachtig schrijft, kan tegelijkertijd niet in staat zijn zinnen te tellen.

Letterlijke vertalingen uit het Engels

We vroegen om een Pools equivalent van de uitdrukking “it’s not rocket science”. Acht modellen gaven iets natuurlijks, meestal “to żadna filozofia“ (het is geen filosofie). Drie gingen voor een letterlijke vertaling: “to nie jest żadna rakietowa nauka“ (het is geen raketwetenschappen), “to nie jest fizyka jądrowa“ (het is geen kernfysica), “to nie jest rakieta, to jest prostsze niż myślisz“ (het is geen raket, het is eenvoudiger dan je denkt).

Dit is een verschil dat je niet ziet in tests die in het Engels worden gedaan, maar dat bepaalt of tekst klinkt alsof een moedertaalspreker het schreef.

Overigens toonde onze automatische test hier een tweede zwakte. Hij beoordeelde de antwoorden “to nie jest wyższa matematyka“ (het is geen hogere wiskunde) en “to nie jest zajęcie dla głupich“ (het is geen bezigheid voor dommen) als fout, omdat ze niet op onze lijst van toegestane formuleringen stonden. Beide uitdrukkingen zijn volkomen natuurlijk in het Pools. We hebben de scores niet aangepast om ze niet naar onze eigen indruk te buigen, maar we merken het op: bij deze taak kregen twee modellen nul voor een antwoord dat een mens als goed zou beoordelen.

GLM 5.3 Flash: won de ene test, verloor de andere

We moeten hier iets toevoegen dat onze eerdere conclusie compliceert. In de test van Poolse grammatica scoorde GLM 5.3 Flash volle punten tegen de laagste kosten en noemden we het de standaardkeuze voor Poolse tekst.

In deze test had datzelfde model 353 seconden nodig voor negen taken, vier tot zeven keer langer dan de rest, en gaf drie keer een leeg antwoord. Het eindigde in het midden van de tabel.

Beide resultaten zijn waar en er zit geen tegenstrijdigheid in: GLM is erg goed in Pools en erg traag bij taken die langer nadenken vereisen. De reden hebben we apart beschreven: in dit model kun je reasoning niet uitschakelen, dus bij een moeilijke opdracht verbruikt het zijn tokenbudget en laat het soms geen ruimte over voor een antwoord.

Dit is precies het soort conclusie dat je niet uit één test kunt trekken, en de reden waarom we de methode beschrijven, niet alleen het resultaat.

Hoe we dit maten en wat deze test niet zegt

Negen taken, elf modellen, één poging per taak, limiet van 1.600 tokens per antwoord in het eerste deel en 3.000 in dit deel. Kosten afgelezen uit het facturatieveld dat de interface teruggeeft, niet uit de prijslijst, want de prijs op de modelkaart kan tot veertien keer afwijken van de rekening. De hele test kostte 0,34 dollar.

Wat het niet zegt: we hebben het schrijven van lange teksten, feitelijke kennis of werken met grote context niet gecontroleerd. Negen taken is te weinig voor een absolute ranking en dat beweren we ook niet.

En het belangrijkste, want dit is de moraal van deze hele tekst: een automatische test is alleen zo goed als het criterium dat je erin hebt vastgelegd. De onze was fout bij één van de negen taken en dat kwam pas naar voren bij het lezen van de antwoorden. Als je modellen automatisch beoordeelt en de resultaten niet leest, publiceer je misschien een ranking die meet hoe goed iets overeenkomt met jouw vergissing.

Dezelfde test, maar vanuit kostenperspectief

Hierboven tellen we punten. Als je geïnteresseerd bent in wat het werk zelf kost, hebben we dat apart gemeten bij een langere taak: hoeveel een door AI geschreven artikel kost. Het varieerde van vier honderdste cent tot negentien cent voor dezelfde tekst.

// lees verderGPT-6 Astra hallucinatietest: vier modellen over niet-bestaande feitenBenchmarksAI zonder censuur? 9 modellen getest met 16 lastige vragenBenchmarksAI-influencer maken: 5 personages getest met 5 modellenBenchmarks