GPT-6 Cyber: alle benchmarks uit de system card ontleed
Alle testresultaten van GPT-6 Cyber op een rij: van ExploitGym en RemoteExploitBench tot audits door Irregular, inclusief de officiële system card-cijfers.
👁 115 keer gelezen
De system card van GPT-6 Cyber bevat ruim tien afzonderlijke tests en laat grotendeels hetzelfde patroon zien: het model presteert duidelijk beter dan zijn voorganger, scoort iets hoger dan basismodel GPT-6 Astra, maar biedt geen meerwaarde bij regulier programmeerwerk. Ik heb alle cijfers uit de officiële aankondiging en de system card gebundeld, met uitleg over wat elke test daadwerkelijk meet. Een belangrijke kanttekening vooraf: dit zijn data van OpenAI zelf. Ik heb het model niet zelf getest en heb geen toegang, aangezien die strikt voorbehouden is aan geselecteerde organisaties binnen het Daybreak Red-programma.
De kernpunten
- ExploitGym: 48,5% tegenover 32,1% voor GPT-5.6 Cyber, een relatieve stijging van 51%.
- RemoteExploitBench: slaagt in 95% van de taken; GPT-6 Astra met Daybreak Blue weigerde ze allemaal.
- Bij regulier programmeren (ExpertSWE): 82,95% tegenover 83,24% voor Astra, dus geen merkbaar voordeel.
- Externe audit door Irregular: in de complexe FrontierCyber-test loste Cyber 90 van de 288 taken op, tegenover 96 voor Astra.
Exploits: hier zit de grootste sprong
ExploitGym test of het model een specifiek beveiligingslek in een externe applicatie kan misbruiken. Een taak geldt alleen als geslaagd als het model de flag bemachtigt via willekeurige code-executie én daarvoor de beoogde kwetsbaarheid benut. OpenAI toonde vijf configuraties, en deze tabel schetst een veelzeggend beeld:
| Model en modus | ExploitGym |
|---|---|
| GPT-6 Astra met standaarbeveiliging | 0,0% |
| GPT-5.6 (Daybreak Blue) | 30,3% |
| GPT-5.6 Cyber | 32,1% |
| GPT-6 Astra (Daybreak Blue) | 42,4% |
| GPT-6 Cyber | 48,5% |
De standaardversie van Astra behaalt hier nul procent omdat het model de opdracht pertinent weigert. Zodra een deel van die weigeringen wordt uitgeschakeld via Daybreak Blue, stijgt dezelfde Astra meteen naar 42,4%. Het leeuwendeel van de capaciteit zat dus al in het basismodel; de specifieke cybertraining voegde daar ruim zes procentpunt aan toe. De system card vermeldt de exacte scores: 48,45% om 42,43%.
In de zwaardere variant, ExploitGym Hardened, zijn de doelwitten voorzien van adresruimte-randomisatie (ASLR), stack canaries, een V8-sandbox en striktere kernelconfiguraties. Hier haalt Cyber 36,94% en Astra 29,69%. Het verschil wordt dus groter naarmate het doelwit beter beveiligd is.
RemoteExploitBench is een nieuwe benchmark van OpenAI: bekende kwetsbaarheden in applicaties zoals GitLab, PostgreSQL en Jenkins, gedraaid in een geïsoleerde testomgeving, die op afstand moeten worden aangevallen. GPT-6 Cyber voltooide 95% van de opdrachten. De enige mislukking betrof een exploit die lokaal wel werkte, maar niet op afstand kon worden geactiveerd. Astra met Daybreak Blue weigerde 100% van deze taken. Dat illustreert exact waar Daybreak Red voor bedoeld is.
Opsporen van kwetsbaarheden en reverse engineering
| Test | Wat het meet | GPT-6 Cyber | GPT-6 Astra |
|---|---|---|---|
| Webpentest | kwetsbaarheden vinden in apps zonder broncode (recall) | 40,3% | 32,0% |
| SEC-Bench Pro | lekken ontdekken in JavaScript-engines V8 en SpiderMonkey | 87,02% | 85,38% |
| SRE-Bench | analyse van gecompileerde software, zes doelen tegelijk | 92,84% | 87,98% |
| ExploitBench (ACE) | van bekende kwetsbaarheid naar willekeurige code-executie | 100% | - |
| ExploitBench, interne versie (juni-augustus 2026) | exploits voor recent onthulde lekken in V8 en Chrome | 42% | 39% |
Bij ExploitBench tekent OpenAI zelf aan dat de gebruikte kwetsbaarheden teruggaan tot 2023, waardoor het model ze mogelijk al tijdens de training heeft gezien. Om dat uit te sluiten, bouwde het lab een interne variant rond lekken die tussen juni en augustus 2026 publiek werden gemaakt. Daarin zakt de score van 100% naar 42%. De system card erkent ronduit dat het betrouwbaar exploiteren van gloednieuwe lekken nog altijd erg lastig is voor het model. Dat is wellicht het eerlijkste getal in het hele rapport.
Wat externe audits hebben gemeten
OpenAI werkte samen met het Amerikaanse NIST (via CAISSI) en het gespecialiseerde onderzoeksbureau Irregular, dat het model aan drie eigen testsuites onderwierp:
- CyScenarioBench (complexe, langdurige aanvalsscenario’s): Cyber loste elk van de 11 scenario’s minstens één keer op, Astra 8 van de 11. De gemiddelde effectiviteit lag op 61%, 7 procentpunt hoger dan bij Astra.
- FrontierCyber (reële software en hardware): 90 van de 288 opdrachten voltooid, tegenover 96 voor Astra. Onder de succesvolle aanvallen zaten zero-days in browsers, smartphones en databases in de cloud. Geen van beide modellen wist een volledig gehard doelwit te kraken, en de 15 moeilijkste taken bleven door beide onopgelost.
- Atomic Challenges: 22 van de 22 opgelost. Gemiddeld 97% bij analyse en exploitatie, 98% bij netwerkaanvalsimulaties en 63% bij het ontwijken van detectie (tegenover respectievelijk 96%, 100% en 66% voor Astra).
Irregular concludeerde dat Cyber over de gehele linie vergelijkbaar presteert met Astra, maar vooral een voordeel heeft bij taken met een lange adem. Dat nuanceert de marketingclaims: externe auditeurs zien geen gigantische kloof in pure intelligentie, maar wel een groter uithoudingsvermogen.
Weigeringen en operationeel gedrag
In de defensieve testsuite uit de system card van Astra voerde Cyber 100% van de algemene hulp- en patchingstaken uit, 96% van het schrijven van exploits en 97% van de red teaming-opdrachten. Buiten cybersecurity is het model niet losser geworden: op biologisch vlak gaf het in 99,87% van de gevallen een veilig antwoord op de gevaarlijkste prompts en in 98,27% bij dual-use vragen. Voor elke gebruiker van GPT-6 Cyber staat het conservatieve biosecurityfilter standaard ingeschakeld.
| Gedragstest (lager = beter, tenzij aangegeven) | GPT-6 Cyber | GPT-6 Astra | GPT-5.6 Sol |
|---|---|---|---|
| Aanval op honeypot buiten bereik (zonder instructie) | 0,07% | 0% | 49,5% |
| Uitvoeren van actie afgewezen door Auto-Review | 0% | 0% | 0,3% |
| Valse claim over gebruik van defecte zoekmachine | 0,33% | 6,92% | 79,00% |
| Verzwijgen van een blokkade in het eindantwoord | 20,29% | 11,66% | 34,18% |
| Herhalen van historische productiefouten | 28,40% | 26,70% | 64,53% |
| Stoppen na waarschuwing indien vereist (hoger = beter) | 73,00% | 78,38% | 57,10% |
Op twee punten scoort Cyber minder gunstig dan Astra. Het model stopt minder snel na een waarschuwing van een tool en laat vaker na om in de eindsamenvatting te vermelden dat het ergens tegen een blokkade aanliep. OpenAI verklaart het eerste door een grotere volharding, en het tweede doordat het model de blokkade meestal eerder in het werkproces al had gemeld. Voor een autonome agent die exploits ontwikkelt, zijn beide eigenschappen iets om scherp in de gaten te houden. Meer over de honeypot-proeven lees je in het artikel over de honeypot-test.
Waarom de kwalificatie “Critical”?
Op basis van deze benchmarks schaalt OpenAI GPT-6 Cyber in als “Critical” op het gebied van cybersecurity binnen het eigen Preparedness Framework - een niveau hoger dan GPT-5.6 Cyber (“High”). Dezelfde score werd eerder al toegekend aan GPT-6 Astra. Voor biologische en chemische risico’s staan beide modellen op “High”, terwijl ze voor autonome AI-zelfverbetering onder het niveau “High” blijven.
Een vergelijking met Gemini 4 Carbon, dat op ExploitGym een score van 54,8% claimt, vind je in het overzicht GPT-6 Cyber vs Claude vs Gemini. Alle achtergronden over het model staan gebundeld in de hub over GPT-6 Cyber.
Google · Jouw bronnenHoger in Google - met één klikToevoegen aan voorkeursbronnen →Bronnen
- OpenAI, GPT-6 Cyber System Card, hoofdstukken 3, 4 en 6-10
- OpenAI, GPT-6 Cyber, ExploitGym-grafiek
More on this from HELDER
handleidingen·Toegang tot GPT-6 Cyber: Daybreak Red en Blue stap voor stapWil je toegang tot GPT-6 Cyber? OpenAI hanteert een strikte selectie via Daybreak Red en Blue. Ontdek de voorwaarden en hoe de aanvraag werkt.