Gemini 4 Argon voor programmeren: test en benchmarks

👁 117 keer gelezen

Gemini 4 Argon haalde alle 51 unit tests in mijn vier programmeeropdrachten. Dat kostte € 0,025 (0,028 USD) en duurde in totaal 25 seconden. Geen ander topmodel deed het goedkoper of sneller. De programme benchmarks geven wel een gemengder beeld: volgens Google staat Argon bovenaan bij DeepSWE, maar scoort het lager bij FrontierSWE en Terminal-Bench 4.0. In de onafhankelijke Arena-ranglijst voor Code Arena: WebDev staat het op de achtste plaats. Hieronder lees je over mijn test, de benchmarkcijfers en waar je Argon kunt gebruiken. Meer over het model vind je in de gids Gemini 4 Argon.

Vier opdrachten, 51 tests

De opdrachten zijn kort, maar bevatten elk een valkuil waar modellen over kunnen struikelen. De test is uitgevoerd in het Pools; de hieronder beschreven opdrachten en voorbeelden zijn vertalingen van het oorspronkelijke Poolse testmateriaal, geen nieuwe tests in het Nederlands.

• Validatie van een Pools belastingnummer: invoer met streepjes, spaties en de prefix PL verwerken, de controlesom met gewichten berekenen en een rest van 10 als ongeldig afwijzen.
• Intervallen samenvoegen: intervallen die aan elkaar grenzen samenvoegen en omgekeerde intervallen, zoals (5, 2), omdraaien.
• Werkdagen in Polen: de jaren 2024-2030 verwerken, inclusief beweeglijke feestdagen en kerstavond, die pas vanaf 2025 een vrije dag is.
• Een bedrag voluit schrijven voor een factuur:de Poolse verbuigingen voor de oorspronkelijke Poolse munteenheden goed toepassen, afronden op een honderdste deel van die munt en bedragen tot een miljard verwerken.

Hoe de code van Argon eruitziet

Argon gaf alleen code in een codeblok, zonder inleiding, met types en commentaar in het Pools. Het interessantste fragment is de lijst met feestdagen voor de opdracht over werkdagen. Gemini 3.8 Flash maakte hier de dag ervoor een fout:

Dit codefragment is een vertaling van de Poolse testuitvoer. De daadwerkelijke test en code waren in het Pools; deze vertaalde versie is niet opnieuw getest.

def get_holidays(year: int) -> set[datetime.date]:
    easter = calculate_easter(year)
    holidays = {
        datetime.date(year, 1, 1),   # Nieuwjaarsdag
        datetime.date(year, 1, 6),   # Driekoningen
        easter,                      # Eerste paasdag (zondag)
        easter + datetime.timedelta(days=1),   # Tweede paasdag (maandag)
        datetime.date(year, 5, 1),   # Dag van de Arbeid
        datetime.date(year, 5, 3),   # Poolse nationale feestdag op 3 mei
        easter + datetime.timedelta(days=49),  # Eerste pinksterdag (zondag)
        easter + datetime.timedelta(days=60),  # Sacramentsdag (donderdag)
        datetime.date(year, 8, 15),  # Maria-Tenhemelopneming
        datetime.date(year, 11, 1),  # Allerheiligen
        datetime.date(year, 11, 11), # Poolse Onafhankelijkheidsdag
        datetime.date(year, 12, 25), # Eerste kerstdag
        datetime.date(year, 12, 26), # Tweede kerstdag
    }
    # Volgens de Poolse wetgeving zoals die gold in 2026 (wet uit 2024)
    # is kerstavond (24 december) vanaf 2025 een wettelijke vrije dag.
    if year >= 2025:
        holidays.add(datetime.date(year, 12, 24))
    return holidays

De code berekent Pasen met het algoritme van Meeus/Jones/Butcher en gebruikt alleen de standaardbibliotheek, zoals gevraagd. Gemini 3.8 Flash behandelde kerstavond in elk jaar als een vrije dag en zakte daardoor voor de test met december 2024. Bij het voluit schrijven van bedragen voegde Argon zelf een ValueErrortoe voor bedragen buiten het bereik. Het zette 12,13 oorspronkelijke Poolse munteenheden correct om naar een vertaling van het Poolse origineel: “twaalf van de voornaamste Poolse munteenheid en dertien van het honderdste deel daarvan”. Muse Wonder bedacht in precies dat geval [verbasterde belettering in de oorspronkelijke Poolse test].

Argon tegenover de concurrenten in dezelfde opdrachten

Van de modellen zonder fouten is Argon bijna drie keer goedkoper dan Opus 5.5 en 4,6 keer goedkoper dan GPT-6 Astra. Wel gaat het om kleine functies van enkele tientallen regels. Deze test laat zien of een model de Poolse context kent en geen domme fouten maakt, maar niet hoe het presteert met een grote repository, meerdere bestanden of langdurig agentwerk in een terminal. Daarvoor zijn benchmarks nuttig.

Programme benchmarks volgens Google

In een tabel van 30 september toont Google Argon op de hoogste redeneerinstelling. De resultaten voor drie programmeerbenchmarks zijn gemengd:

Claude Fable 5.1 scoort in dezelfde tabel 67,4% bij DeepSWE, 56,3% bij FrontierSWE en 57,9% bij Terminal-Bench. In de volledige tabel van Google staat Argon bovenaan in 13 van de 19 tests. Maar bij twee van de drie programmeerbenchmarks presteert het minder goed dan concurrenten. Bij Terminal-Bench 4.0 is de achterstand op Opus 5.5 negen procentpunten.

Wat onafhankelijke metingen laten zien

• Artificial Analysis, Terminal-Bench 4.0: Argon 57%, Claude Sonnet 5.5 64%, Claude Opus 5.5 60% en GPT-6 Astra 59%. De onafhankelijke meting bevestigt dat Argon bij terminalwerk achterloopt op modellen van Anthropic en OpenAI.
• Arena, Code Arena: WebDev: achtste plaats met 1679 punten. Ter vergelijking: dezelfde Argon (High) staat in Text Arena op de eerste plaats met 1525 punten; dat resultaat is voorlopig.

Bloomberg: Google-medewerkers hadden twijfels

Bloomberg schreef op 30 september, in een bericht dat Techmeme citeerde, dat het model volgens Google-medewerkers bij sommige echte programmeertaken minder goed presteert dan de benchmarks suggereren. Google betwist dat. Mijn kleine test geeft geen uitsluitsel: Argon schrijft korte functies zonder problemen. De onafhankelijke resultaten van Terminal-Bench en de achtste plaats in WebDev sluiten echter eerder aan bij het beeld van Bloomberg dan bij de beste cijfers uit de tabel van Google.

Waar kun je met Argon programmeren?

• Google Antigravity (desktopapp en CLI): Argon is alleen beschikbaar in het Google AI Ultra-abonnement. Onderzoekers kunnen de hoogste Antigravity-versie zes maanden gratis krijgen. De eerste stappen beschrijf ik in Antigravity: zo begin je.
• Gemini API: model-ID gemini-4-argon, beschikbaar voor elk betaald account. Tot en met 30 november 2026 kost het € 1,78 (2 USD) per miljoen invoertokens en € 8,91 (10 USD) per miljoen uitvoertokens. Vanaf 1 december zijn de prijzen € 3,56 (4 USD) en € 17,82 (20 USD). De limiet geldt voor invoer en uitvoer samen: 1 miljoen tokens. Volgens 9to5Google is Argon in de interface van AI Studio en in Android Studio (Canary) alleen beschikbaar met Ultra.
• OpenRouter: google/gemini-4-argon, dezelfde prijzen en een contextvenster van 1.048.576 tokens. Ik voerde mijn test ermee uit. Op 13 oktober werkte het vanuit Polen zonder problemen; dat zegt niets over beschikbaarheid in andere landen. Controleer dit bij de aanbieder. Je kunt OpenRouter gebruiken met elk hulpmiddel dat een OpenRouter-sleutel accepteert.

Omrekening van USD naar EUR op basis van de ECB-referentiekoers van 19 oktober 2026 (1 EUR = 1,1225 USD). Bron: ECB. EUR-bedragen zijn schattingen, geen lokale checkoutprijzen.

Conclusie

Voor losse functies, scripts en kleine verbeteringen is Argon op dit moment het goedkoopste topmodel dat ik heb getest, en het maakte geen enkele fout. Voor langdurig agentwerk in een repository en terminal wijzen de benchmarks, ook de onafhankelijke, eerder naar Claude Opus 5.5. Programmeer je via een API, dan is het de moeite waard Argon met je eigen code te testen vóór 30 november, zolang het de helft van de latere prijs kost. Andere hulpmiddelen vind je in het overzicht AI voor programmeren.

// lees verderGemini 4 Argon niet in de app? Uitrol en checklistHandleidingenGoogle DeepMind onthult Gemini 4 Argon voor roboticaNieuwsGoogle kondigt Gemini 4 Argon aan voor complexe takenNieuws