GPT-6 Astra voor programmeurs: wat codetests wel en niet zeggen

👁 121 keer gelezen

Voor een programmeur komt de lancering van een nieuw model neer op één vraag: doet het beter wat mijn huidige model nu doet, en voor welke prijs. Het antwoord uit de tests die bij de release van GPT-6 Astra zijn gepubliceerd is minder eenduidig dan de communicatie suggereert, en het loont om het uit elkaar te halen.

Drie tests, drie verschillende beelden

In Terminal-Bench 4.0, dat werk op de commandoregel meet met realistische taken, scoort Astra 57,7 punten. Claude Fable 5.1 haalt 55,8, Claude Opus 5 52,3, de oudere Fable 5 42,0, en GPT-5.6 Sol 37,3. De voorsprong op de directe concurrent is net geen twee punten, maar de sprong ten opzichte van zijn eigen voorganger is enorm: van 37,3 naar 57,7.

In DeepSWE v1.1, de test voor het fixen van bugs in echte repositories, behaalde Astra 74,1 procent tegenover 72,7 procent bij Sol. Er is verbetering, maar die is klein. Op dit moeilijkheidsniveau betekent anderhalf punt verschil een paar taken per honderd.

En ten slotte FrontierCode 1.1 in de uitgebreide variant: Astra 64,5 procent, Claude Fable 5 64,9 procent. Het model van bijna drie maanden geleden, voor dezelfde prijs, scoort een fractie beter.

Wat deze cijfers niet vertellen

Tests meten afgesloten taken: er is een bug om te fixen, er is een commando om uit te voeren, er is een resultaat om te controleren. Dagelijks werk met code is meestal iets anders: andermans code lezen, architectuurbeslissingen nemen, bespreken wat je juist niet moet doen. Dat meet geen van deze tests en de verschillen tussen modellen zijn daar vaak anders dan in de tabel.

Tweede punt: prijzen. Astra kost 10 en 50 dollar per miljoen tokens, Sol 2 en 10. Een voorsprong van anderhalf punt in bugfixes bij een vijfvoudig prijsverschil is alleen een argument als die paar procent taken die Sol niet aankan meer kosten dan de meerprijs voor alle overige.

Waar Astra echt het verschil maakt voor programmeurs

Twee plekken. De eerste is lange context: in de test voor het terugvinden van informatie in tekst van een half miljoen tot een miljoen tokens haalt Astra 96,3 procent tegenover 73,8 bij zijn voorganger. Dat is het verschil tussen een hele repository in de context gooien en erop vertrouwen dat het model niets mist, en het in stukken opdelen. De tweede is agentwerk: in de test voor automatisering van professionele taken scoort Astra 41,4 punten tegenover 31,4 bij Fable 5.1 en 18,1 bij Sol, en in OSWorld, de test voor computerbesturing, 72,6 procent tegenover 65,7.

Als je werk bestaat uit lange agentsessies op grote codebases, is Astra het eerste model dat dit duidelijk beter doet dan de rest. Als het gaat om losse vragen en snelle fixes, doet een goedkoper model hetzelfde en is je rekening vijf keer lager.

De volledige testtabel met vergelijking met de concurrentie staat in de tekst over de benchmarks van Astra, en alle modelgegevens in de gids.

// lees verderGeld verdienen met AI-muziek: wat zeggen de voorwaarden echt?HandleidingenWaarom CSS-bestanden samenvoegen je site trager maaktBenchmarksLLM’s begrijpen niet hoe code werkt tijdens uitvoering - SWE-FluxBenchmarks