GPT-6 Astra test: Nederlands, code en 150.000 tekens

👁 118 keer gelezen

Op 4 september kwam GPT-6 Astra beschikbaar via OpenRouter, het platform waarmee we al maanden modellen testen. Diezelfde avond lieten we het model drie sets taken doorlopen, elk met controleerbare antwoorden, en zetten het naast drie concurrenten: Claude Fable 5.1 voor dezelfde prijs, Claude Opus 5 voor de helft van de prijs en Gemini 3.8 Flash, dat twee dagen eerder beschikbaar kwam en een fractie kost van de rest.

De drie sets: taaltaken in het Pools (zes opdrachten over verbuigingen, telwoorden, hoofdletters, deelwoorden, komma’s en eenvoudige taal - dezelfde waarmee we sinds augustus modellen testen), code (drie PHP-functies die draaien op verborgen tests) en naald in een hooiberg (vijf feiten verborgen in 150.000 tekens Poolse tekst). Alles bij temperatuur 0,2, één doorloop, kosten berekend uit de API-factuur. Belangrijke kanttekening vooraf: één doorloop is geen benchmark met honderden herhalingen, maar laat zien hoe de modellen zich de eerste dag gedroegen in onze test.

Poolse taaltaken: Gemini maakte alles foutloos voor een fractie

De grootste verrassing betreft niet Astra. Gemini 3.8 Flash, een model uit het lagere segment, was als enige volledig correct met hoofdletters volgens de Poolse norm: president van Warschau, gemeentehuis als informele naam en meneer directeur met kleine letters, Ministerie van Digitalisering en Kerstmis met hoofdletters. Astra en Fable 5.1 lieten “Urzędzie Miasta“ (gemeentehuis) met hoofdletters staan, Opus 5 ook nog “Pana Dyrektora” (meneer directeur). Dit zijn precies de fouten die het vaakst voorkomen in Poolse officiële documenten, dus het is niet verrassend dat modellen ze herhalen.

Astra loste alle zes taken op en was het snelst van de vier, gemiddeld 6,5 seconden per antwoord. Ter vergelijking: bij de lancering van Fable 5.1 drie dagen eerder was het juist het Anthropic-model dat vastliep bij telwoorden; deze keer liep Opus 5 vast, bij de taak met ambtelijk taalgebruik, en hing tot de verbinding na vier minuten werd verbroken. Vastlopen bij korte taaltaken lijkt een kenmerk van de Claude-familie, niet een incident.

Bij dezelfde temperatuur zijn modellen niet herhaalbaar. Bij de eerste meting schreef Fable 5.1 “urzędzie miasta“ met kleine letters, deze keer met hoofdletters. Een beoordeling van één doorloop is dus een beoordeling van die doorloop, niet van het model in het algemeen.

Code: allemaal 19 van 19, dus de taken waren te makkelijk

Drie PHP-functies: slug uit Poolse tekst (met transliteratie van diakritische tekens), correcte vorm van het zelfstandig naamwoord na telwoorden (bestand, bestanden, met valkuilen zoals 12, 22, 101, 124) en het samenvoegen van overlappende intervallen. Elk antwoord draaiden we op verborgen tests: 19 assertions in totaal.

Resultaat: vier modellen, elk 19 van 19. Eerlijk gezegd is dit een falen van de test, geen succes van de modellen. Taken die een jaar geleden nog konden verrassen (Poolse telwoorden zijn een klassieke valkuil), lost vandaag ook het goedkoopste model foutloos op. Verschillen bleven alleen in de kosten: Gemini 3.8 Flash $0,014 voor drie taken, Opus 5 $0,039, Astra $0,040, Fable 5.1 $0,048. De volgende code-test zal aanzienlijk moeilijker moeten zijn om iets te kunnen meten.

Naald in een hooiberg: allemaal raak, maar kosten verschillen twintigvoudig

In 150.000 tekens Poolse tekst stopten we vijf verzonnen feiten (reserveringscode, frequentie, gangnummer, wachtwoord met diakritische tekens, verzendtijd) op verschillende plekken, van drie tot zesennegentig procent van de lengte, en stelden vijf vragen.

Allemaal vonden ze alles, dus kwalitatief gelijkspel. Interessant is de kolom met tokens: dezelfde Poolse tekst is 45.882 tokens bij Astra en 43.350 bij Gemini, maar 73.063 bij beide Claude-modellen. De tokenizer van Anthropic splitst Pools in bijna 60 procent meer stukjes. Bij een identiek tarief per miljoen tokens betekent dit dat Fable 5.1 voor hetzelfde werk in het Pools reëel duurder is dan Astra, ondanks dat beide prijslijsten er hetzelfde uitzien. Deze “token-belasting” berekenen we al langer in de kostencalculator, en hier zie je het in één taak: $0,58 bij Astra, $0,73 bij Fable, $0,03 bij Gemini.

Wat betekent dit

Ten eerste: Astra is in deze taken het snelst en liep geen enkele keer vast, wat na onze ervaringen met de Claude-familie praktisch gewicht heeft. Ten tweede: voor Poolse taaltaken is het niet beter dan goedkopere modellen - het maakte dezelfde fout als Fable 5.1 en verloor van Gemini 3.8 Flash, dat twintig keer minder kostte. Ten derde: de voordelen van Astra uit officiële benchmarks - wiskunde, abstract redeneren en cyberbeveiliging - komen helemaal niet voor in dagelijks redactioneel werk in het Pools, dus deze test meet ze niet en doet ook niet alsof.

De conclusie voor iemand die in het Pools schrijft en redigeert, is dezelfde als bij onze test van Fable 5.1: het duurste segment geeft geen voordeel voor dit werk, en onder de goedkope modellen is er een kandidaat die het foutloos doet. Voor iemand die wiskunde, agents en lange onderzoekstaken nodig heeft, zegt deze test niets en moet je wachten op onafhankelijke metingen. Volledige gegevens van het model verzamelden we in de gids over GPT-6 Astra.

De methode en ruwe antwoorden van alle modellen zijn opgeslagen; als je ze wilt zien of moeilijkere taken wilt voorstellen voor de volgende ronde, laat het weten.

// lees verderGPT-6 Astra maakt hardlooproutes op maat met OpenStreetMap-data en levert GPX en GeoJSONAI-toolsVoor wie is GPT-6 Astra bedoeld en wie kiest beter anders?MagazineLLM 0.35 voegt ondersteuning toe voor GPT-6 AstraAI-tools