Gemini 4 Carbon benchmarks: wat zeggen de scores?
Gemini 4 Carbon staat eerste in de AA Index (59). Alle benchmarks uit Googles evaluatie naast Argon, GPT-6 Astra, Opus 5.5 en Fable 5.1, met uitleg wat ze wel en niet meten.
👁 117 keer gelezen
Update 10 november 2026: Gemini 4 Carbon is voor iedereen beschikbaar
Sinds 10 november 2026 is Gemini 4 Carbon algemeen beschikbaar. Het model is te gebruiken met model-ID gemini-4-carbon in de Gemini API en Google AI Studio (alleen betaald, geen gratis toegang), als google/gemini-4-carbon in OpenRouter en met Google AI Ultra in de Gemini-app, AI Mode en Google Antigravity (denkniveaus Low, Medium en High). Het maakt geen deel uit van Google AI Pro.
| API-prijs per 1M tokens | Tot en met 30 nov 2026 | Vanaf 1 dec 2026 |
|---|---|---|
| Invoer | 2 USD | 4 USD |
| Uitvoer (incl. denktokens) | 10 USD | 20 USD |
| Batch / Flex (in / uit) | 1 / 5 USD | 2 / 10 USD |
Contextvenster: 1.048.576 tokens, gedeeld door invoer en uitvoer, met standaard maximaal 65.536 uitvoertokens. Google AI Ultra: € 99,99 (5x) of € 219,99 (20x) per maand.
Mijn eerste test (10 nov): alle 23 praktijktaken correct (0,23 USD, 264 s - Argon had 135 s nodig), 16 van de 16 wetenschappelijke bronnen echt en 0 verzonnen, 8 van de 8 bewust aangebrachte kwetsbaarheden gevonden bij een codereview en een spreadsheet-engine van 639 regels die alle 34 van de 34 tests doorstond. Zwak punt: bij een gemiddelde denkinspanning verbruikte het model tweemaal zijn volledige tokenlimiet aan denkwerk, zonder antwoord te geven. Details: Gemini 4 Carbon is beschikbaar en mijn test van Gemini 4 Carbon tegenover Argon, Claude Fable 5.2 en GPT-6.1 Sol. De onderstaande onderdelen schreef ik op 28 oktober, voordat het model publiek beschikbaar was; de prijzen en toegangsmogelijkheden hierboven zijn actueel.
Gemini 4 Carbon staat op 30 oktober 2026 eerste in de Artificial Analysis Intelligence Index met 59 punten, één punt boven Claude Opus 5.5 (58) en twee boven GPT-6 Astra (57). In Googles eigen evaluatietabel heeft Carbon op 15 van de 17 benchmarks de hoogste score; het verliest alleen FrontierSWE 2 van GPT-6 Astra en OSWorld-2.1 van Claude Opus 5.5. Die cijfers heeft Google zelf gemeten of verzameld. Carbon zelf heb ik niet kunnen testen, omdat het model alleen voor Fairwind-partners beschikbaar is.
Alle benchmarks uit Googles evaluatie
De scores van Carbon en Argon zijn door Google gemeten met pass@1 en de hoogste denkinstelling via de Gemini API. De cijfers van de concurrenten komen volgens Google uit hun eigen rapporten of uit openbare ranglijsten. Een streepje betekent dat er geen score is opgegeven.
| Benchmark | Carbon | Argon | GPT-6 Astra | Opus 5.5 | Fable 5.1 |
|---|---|---|---|---|---|
| AA Index v5.0 | 59 | 50 | 57 | 58 | 49 |
| Vals Index v2.2 (kantoorwerk) | 70,4% | 69,2% | 65,0% | 70,2% | - |
| SWE-sweep | 9,6% | 4,3% | 9,5% | 3,6% | 2,9% |
| FrontierSWE 2 | 61,2% | 55,0% | 65,5% | 62,3% | 56,3% |
| Terminal-Bench 4.0 (AA) | 65,2% | 57,1% | 59,1% | 59,6% | 52,0% |
| Agents’ Last Exam v1.1 | 77,4% | 69,0% | 73,1% | 71,6% | - |
| OSWorld-2.1 (offline) | 81,5% | 74,7% | 80,9% | 87,2% | 76,8% |
| AutomationBench (Zapier) | 53,9% | 51,3% | 41,4% | 42,5% | 31,4% |
| Vending-Bench 2 (USD) | 16.484 | 13.718 | 15.515 | 9.235 | 5.422 |
| Chartography | 72,5% | 71,6% | 71,0% | 66,3% | 46,2% |
| Blueprint-Bench 2 | 58,6% | 54,4% | 49,7% | 51,2% | 41,9% |
| GraphWalks 256k-1M (BFS F1) | 96,2% | 84,2% | 71,8% | 66,8% | 65,0% |
| RiemannBench | 80,0% | 76,0% | 72,0% | 69,6% | 65,6% |
| Terminal-Bench-Science 0.1 (AA) | 64,8% | 52,9% | 63,3% | 59,0% | 43,3% |
| CWE-bench (lekken dichten) | 71,0% | 68,0% | 68,0% | 67,0% | 58,0% |
| ExploitGym (lekken uitbuiten) | 54,8% | 42,0% | 42,4% | 34,5% | - |
| SEC-bench Pro (lekken vinden) | 88,2% | 83,4% | 85,4% | - | - |
Niet elke externe benchmark is extern gemeten
Dat een benchmark een bekende naam heeft, betekent niet dat iemand anders de Carbon-score heeft herhaald. SWE-sweep heeft Google voor Carbon zelf berekend met mini-swe-agent. ExploitGym en SEC-bench Pro draaiden in Googles eigen Antigravity-omgeving, zonder internet en met uitgeschakelde beveiligingen. Ook Agents’ Last Exam en OSWorld zijn eigen runs van Google. De AA Index en Terminal-Bench (AA) zijn wel door Artificial Analysis gemeten; de AA-score van 59 staat ook op hun eigen ranglijst.
Programmeren, agents en lange context
De duidelijkste voorsprong zit bij lange context: op GraphWalks over 256.000 tot 1 miljoen tokens haalt Carbon 96,2%, tegen 71,8% voor GPT-6 Astra en 66,8% voor Opus 5.5. Bij terminalwerk (65,2%) en Agents’ Last Exam (77,4%) staat Carbon ook bovenaan. Bij het oplossen van echte repositoryproblemen is het beeld gemengd: op FrontierSWE 2 scoort Carbon lager dan Astra en Opus, op SWE-sweep liggen Carbon en Astra gelijk op. Een hoge terminalscore betekent dus niet dat elk codeprobleem beter wordt opgelost.
Cyberveiligheid: drie verschillende vaardigheden
Google presenteert Carbon vooral als beveiligingsmodel. Het vindt lekken (SEC-bench Pro 88,2%), buit ze uit (ExploitGym 54,8%) en dicht ze (CWE-bench 71,0%). Die tests draaiden zonder guardrails en meten dus wat het model kan, niet hoe het zich standaard gedraagt. Daarnaast noemt Google interne resultaten: meer dan twee keer zo effectief als Argon bij het schrijven van veilige code, en volgens het Chrome-team meer dan tien keer beter bij hoogwaardige patches dan een niet genoemd frontiermodel van een ander lab. Onafhankelijk gecontroleerd zijn die claims niet.
Gedrag en betrouwbaarheid volgens Google
Op Terminal-Bench 4.0 meldt Google 0,0% geslaagde misleiding en 0,4% pogingen daartoe. Meldingen van ernstig afwijkend gedrag bij live programmeren zouden met bijna 80% zijn gedaald, onbewezen beweringen kwamen ongeveer half zo vaak voor als bij Argon, te ver gaand handelen daalde met 26% en te weinig hulp met 29%. Bij de Gray Swan-test op prompt-injectie slaagde 0,0% van de aanvallen, tegen 0,7% bij Argon.
Wat de scores niet laten zien
Er zit geen Nederlandse taaltest, snelheidsmeting of prijs per afgeronde taak in de evaluatie. Een lage tokenprijs zegt weinig over een agent die dagen doorwerkt, en percentages van zulke verschillende tests optellen of middelen geeft schijnprecisie. Kies op de taak die je wilt uitbesteden: lange documenten en terminalwerk spreken voor Carbon, computerbediening (OSWorld) voor Opus 5.5. Toegang, prijzen en de vergelijking met het model dat je nu al kunt gebruiken staan in Gemini 4 Carbon vs Argon.
Bronnen
- Google (28 oktober 2026): Introducing Gemini 4 Carbon
- Google DeepMind: Gemini 4 Carbon model evaluation (pdf)
- Google DeepMind: Gemini 4 safety report (pdf)
- Artificial Analysis: LLM Leaderboard
- Google DeepMind: Fairwind Program
Gecontroleerd op 30 oktober 2026.
More on this from HELDER
ai-tools·Project Genie van Google: toegang in NederlandProject Genie werkt in Nederland alleen met Google AI Ultra 20x (€ 219,99 per maand). Genie 4 is nog een research preview voor testers, zonder datum of API-prijs.