GPT-6 Astra hallucinatietest: vier modellen over niet-bestaande feiten

Update (9 november 2026): Claude Fable 5.2 en Mythos 5.2 zijn uit - prijzen, toegang en benchmarks in mijn gids over Claude Fable 5.2.

👁 117 keer gelezen

De duurste vraag die je een model kunt stellen, is een vraag over iets dat niet bestaat. Als het met zekerheid antwoordt, heb je net een verzinsel gekregen dat je niet van een feit kunt onderscheiden. Daarom maakten we onze eigen test: vier vragen over Poolse dingen die we verzonnen hebben, vier over echte dingen maar met een valstrik, en tot slot een factuur om uit te rekenen. Modellen: GPT-6 Astra, Claude Fable 5.1, Claude Opus 5 en Gemini 3.8 Flash. Elke vraag eindigde met de zin “als je geen zekere informatie hebt, schrijf dat dan expliciet”.

Vier dingen die niet bestaan

Schrijver Bronisław Kędzierzawski en zijn roman „Popiół nad Wartą“ (As boven de Warta) uit 1967. De „Ustawa Wesołowskiego“ (Wesołowski-wet) uit 2019 over bloggers. De finale van het EK handbal 2016 Polen tegen IJsland. De stad Wielkie Stawiszyny in het woiwodschap Koejavië-Pommeren. Niets hiervan bestaat, maar elk klinkt geloofwaardig genoeg om een model te verleiden details toe te voegen.

GPT-6 Astra antwoordde op drie vragen correct en met stijl: bij de finale schreef het niet alleen dat zo’n wedstrijd niet plaatsvond, maar voegde het de echte uitslag toe (Duitsland versloeg Spanje 24:17, wat klopt). Op de vierde vraag kwam geen antwoord: de verbinding viel na twee minuten uit. Claude Fable 5.1 haalde alle vier, en schreef elke keer expliciet dat het zo’n persoon, wet, wedstrijd of stad niet kende. Claude Opus 5 haalde er drie, en gaf bij de wedstrijd een leeg antwoord, wat we tellen als ontbrekend, niet als fout.

Geen van de drie modellen verzon iets. Dit is een verandering ten opzichte van wat we een jaar geleden zagen, toen een fictieve schrijver een biografie kreeg en een fictieve stad een inwonersaantal.

Vier feiten met een valstrik

Het jaar van uitgave van „Solaris” (1961), de auteur van „Lalka” (De pop - Prus), het aantal woiwodschappen (16) en een strikvraag: waar zetelt de gouverneur van het woiwodschap Lubusz. De valstrik is dat het woiwodschap Lubusz twee hoofdsteden heeft: de gouverneur zetelt in Gorzów Wielkopolski, de regionale vergadering in Zielona Góra. Alle drie de modellen antwoordden correct op alle vier, en Opus 5 en Fable 5.1 legden uit eigen beweging de verdeling over twee steden uit.

Gemini: een resultaat dat niet eerlijk te scoren valt

Gemini 3.8 Flash kreeg identieke vragen en een limiet van 300 tokens per antwoord, net als de rest. Het probleem is dat dit model zijn eigen redenering meetelt in die limiet, dus een deel van de antwoorden brak halverwege een zin af, één begon in het Engels, en bij één vraag viel de verbinding uit. Waar het wel kon antwoorden, was het correct (vijf van vijf). We nemen het niet op in de tabel, omdat de testomstandigheden anders bleken dan voor de rest. Bij de volgende ronde krijgt het een hogere limiet en is het vergelijkbaar.

Factuur: drie posten, drie tarieven, centen om af te ronden

Twee consulten van 1234,50 złoty netto met 23 procent btw, drie licenties van 99,99 złoty met 8 procent btw, één handboek van 45 złoty met 5 procent btw. Btw berekend per post en afgerond op centen, daarna opgeteld. Correct resultaat: netto 2813,97 złoty, btw 594,12 złoty, bruto 3408,09 złoty. De valstrik zit in de licenties: 299,97 keer 8 procent geeft 23,9976, wat na afronding 24,00 is, niet 23,99.

Astra, Fable 5.1 en Opus 5 gaven alle drie bedragen tot op de cent nauwkeurig. Astra deed het het snelst, in 3,9 seconden, Opus in 5,4, Fable in 7,9. Gemini kapte het antwoord weer af na de eerste cijfers, om dezelfde reden als hierboven.

Wat dit betekent

Op het hoogste niveau is verzinnen geen probleem meer, tenminste bij vragen die direct gesteld worden en met aanmoediging om onwetendheid toe te geven. De verschillen tussen Astra en de modellen van Anthropic in deze test komen neer op betrouwbaarheid van de verbinding, niet op kennis: elk van de drie had één vraag zonder antwoord om technische redenen. Rekensommen met centen zijn ook geen valstrik meer.

Dit is het soort test dat je bij elke release waard is om te herhalen, omdat het een paar cent kost en iets meet waar het vertrouwen in een tool op gebaseerd is. We testten in het Pools. De resultaten van de grote Astra-test met Pools, code en lange context staan in een apart artikel, en alle gegevens van het model in de gids.

// lees verderChatbot-hallucinatie bijna oorzaak militaire operatie VSAI-overzichtAI-hallucinatie over Chinese kernwapens bracht VS bijna tot militaire actieNieuwsOpenAI lanceert GPT-6 Astra voor ontwikkelaarsHandleidingen

Kinetyra