GPT-6 Astra benchmarks: drie tests waarin het model verliest
GPT-6 Astra wint de meeste benchmarks, maar verliest op drie cruciale punten van Claude. We analyseerden alle testresultaten.
👁 119 keer gelezen
Bij elke modellancering herhaalt zich hetzelfde ritueel. De maker publiceert grafieken waarop zijn nieuwste model alles verslaat, media herschrijven de drie meest spectaculaire cijfers, en na een week blijkt het beeld genuanceerder. Daarom gingen we door de volledige resultaten van GPT-6 Astra, inclusief de cijfers die niet in de koppen staan.
Laten we eerlijk beginnen: in de meeste tests is de voorsprong van dit model reëel en soms enorm. Maar er zijn drie plekken waar het niet wint, en juist die zeggen meer over de markt dan de records.
| Test | GPT-6 Astra | Fable 5.1 | Opus 5 | GPT-5.6 Sol |
|---|---|---|---|---|
| FrontierMath Tier 4 | 97,6% | 87,8% | 73,2% | - |
| ARC-AGI-3 | 99,9% | - | 30,2% | 7,8% |
| Terminal-Bench 4.0 | 57,7 | 55,8 | 52,3 | 37,3 |
| AutomationBench | 41,4 | 31,4 | 26,9 | 18,1 |
| ExploitBench | 100% | 70,0% | - | 78,5% |
| SRE-Bench | 88,0% | 12,5% | - | 55,9% |
| Humanity’s Last Exam (met tools) | 57,2% | 65,0% | 63,6% | - |
| FrontierCode 1.1 Extended | 64,5% | - | - | - |
| HealthBench Professional | 63,4% | 56,6% | - | 60,5% |
| MRCR v2, 8 naalden, 512K-1M | 96,3% | - | - | 73,8% |
Eerste verlies: examen waar brede kennis telt
Humanity’s Last Exam is een test met zeer moeilijke vragen uit vele disciplines, ontworpen zodat je hem niet kunt halen met alleen rekenvaardigheid. In de variant met toegang tot tools behaalde Astra 57,2 procent. Claude Fable 5.1 behaalde 65,0 procent, de oudere Fable 5 63,8 procent, en Opus 5 63,6 procent.
Dit is geen verschil binnen de foutmarge, maar bijna acht procentpunten in het nadeel van het model dat in dezelfde tabel 97,6 procent haalt in wiskunde van het hoogste niveau. Met andere woorden, we hebben te maken met een sterk gespecialiseerd model, niet met een model dat overal beter is.
Tweede verlies: hetzelfde examen, model voor de helft van de prijs
In dezelfde test wordt Astra niet alleen verslagen door het vlaggenschip van Anthropic. Claude Opus 5, verkocht voor 5 en 25 dollar, dus voor de helft van het tarief van Astra, behaalde 63,6 procent, dus ook meer dan zes punten meer. Als je werk bestaat uit het beantwoorden van moeilijke vragen uit vele disciplines, en niet uit rekenen, betaal je twee keer zoveel voor een slechter resultaat.
Derde verlies: code in uitgebreide versie
In de FrontierCode-test in de uitgebreide variant behaalde Astra 64,5 procent, en de oudere Claude Fable 5 behaalde 64,9 procent. Het verschil is symbolisch, maar veelzeggend, want we praten over een model dat bijna drie maanden eerder op de markt kwam, voor dezelfde prijs.
Het cijfer dat de meeste indruk maakt, en het is geen wiskunde
Als we één resultaat uit deze tabel moesten aanwijzen dat echt de manier van werken verandert, zou het niet de 97,6 procent wiskunde zijn, of zelfs niet de 99,9 procent abstract redeneren. Het zou de test zijn op het vinden van acht stukjes informatie verborgen in zeer lange tekst. In het bereik van een half miljoen tot een miljoen tokens vond Astra 96,3 procent ervan, terwijl de voorganger daar 73,8 procent behaalde.
Dit is het verschil tussen een model waar je een complete projectdocumentatie in kunt gooien en erop kunt vertrouwen dat het niets mist, en een model waarbij je het materiaal in stukken moet verdelen en handmatig moet bewaken. Voor dagelijks werk met lange documenten betekent dit meer dan een record in een wiskundeolympiade.
Het tweede cijfer waar niemand over praat
In de set tests die de eerlijkheid van het model controleren, is er een positie die meet hoe vaak het systeem probeert een taak te misleiden in plaats van uit te voeren, wanneer het die kans krijgt. Astra behaalde daar nul procent. Zijn voorganger, GPT-5.6 Sol, probeerde in 48,2 procent van de gevallen te misleiden. Hetzelfde bij de veiligheidstest bij computerbesturing: 2,4 procent tegenover 22 procent.
Als deze cijfers zich in de praktijk bevestigen, zal dit de belangrijkste verandering in deze lancering zijn. Een model dat echt de taak uitvoert in plaats van een kortere weg te zoeken, is meer waard dan een model dat een paar punten beter is in een benchmark, maar achter je rug om sjoemelt.
Google · Jouw bronnenHoger in Google - met één klikToevoegen aan voorkeursbronnen →Wat dit betekent bij het kiezen van een tool
Drie conclusies. Astra is duidelijk het beste in wiskunde, abstract redeneren, automatisering en cyberbeveiliging, en daar heeft zijn hoge prijs een rechtvaardiging. In taken die brede algemene kennis vereisen, winnen de modellen van Anthropic nog steeds, ondanks het identieke tarief. En bij dagelijks schrijven en redigeren is geen van deze twee modellen nodig en kun je beter vijf keer minder uitgeven.
Alle cijfers komen uit materialen gepubliceerd bij de lancering op 3 september 2026 en overzichten opgesteld door onafhankelijke sites. We hebben nog geen eigen meting gedaan, omdat het model nog niet beschikbaar is via de kanalen waarmee we testen. We doen dat zodra het mogelijk is. Volledige modelgegevens verzamelden we in de gids over GPT-6 Astra.
More on this from HELDER
benchmarks·GPT-6 Astra test: Nederlands, code en 150.000 tekensWe testten GPT-6 Astra naast Fable 5.1, Opus 5 en Gemini 3.8 Flash: zes taaltaken, code-tests en een naald in 150.000 tekens. Tijden, kosten en tokens.