Hoeveel een AI-model echt onthoudt

Een miljoen tokens context klinkt als de belofte dat het model een heel boek leest en alles onthoudt. De realiteit is anders: een groot venster zegt hoeveel je erinkwijt kunt, niet hoeveel het model vindt. Ik test dit zelf, in het Nederlands: ik verberg een unieke code in een lang document en vraag het model die te vinden. Het resultaat is binair - het geeft de code of niet.

laatste testrun: 2026-11-09 04:49:26 · twee verbergingen op lengte (25% en 75% van document) · exacte matching

Model	8 k tokens	32 k tokens	128 k tokens
Claude Opus 5	geen antwoordtijdslimiet overschreden	geen antwoordtijdslimiet overschreden	geen antwoordtijdslimiet overschreden
GPT-5.6 Terra	geen antwoordtijdslimiet overschreden	geen antwoordtijdslimiet overschreden	geen antwoordtijdslimiet overschreden
Kimi K3	geen antwoordtijdslimiet overschreden	geen antwoordtijdslimiet overschreden	geen antwoordtijdslimiet overschreden
DeepSeek V4 Pro	geen antwoordtijdslimiet overschreden	geen antwoordtijdslimiet overschreden	geen antwoordtijdslimiet overschreden

Hoe de test werkt

Ik bouw een document met genummerde alinea's met neutrale inhoud (archiefprotocollen), en plaats op een gekozen plek één zin met een code die niet te raden of aan te leren is, omdat die ontstaat uit de checksum van de dag en testparameters:

Speciale alinea. De toegangscode voor het back-uparchief luidt NB-A3F91C en geldt uitsluitend in dit document.

Vervolgens vraag ik het model alleen de code te geven. Ik verberg hem twee keer: één keer op een kwart van het document, één keer op driekwart - omdat modellen meestal het begin en einde het best onthouden en het midden vergeten. "Gevonden" betekent twee van de twee raak, "gedeeltelijk" één, "kwijt" nul. Ik meet ook de responstijd, want bij lange context kan die groeien van seconden naar minuten, wat belangrijk is als je er een product op bouwt.

Wat deze test niet meet

Het vinden van een feit is de eenvoudigste taak in een lange context. Moeilijker is het om meerdere stukjes informatie verspreid over het document te combineren en conclusies te trekken uit het geheel - een model dat de code vindt, kan nog steeds de draad kwijtraken bij een vraag die het samenvoegen van drie alinea's uit verschillende delen vereist. Beschouw dit resultaat als een ondergrens, geen bovengrens: als een model deze test niet haalt, haalt het zeker geen moeilijkere. Bij je eigen implementaties test je altijd op je eigen documenten, want de structuur van de tekst maakt uit.

Ik herhaal de test elke week en archiveer de resultaten - zo zien we of modellen na stille updates meer gaan missen dan voorheen. De prijzen van modellen uit deze tabel vind je inkostencalculator, en hun volledige profielen in de hubs:Opus 5, GPT-5.6, Kimi K3. Wanneer je de resultaten citeert, vermeld dan „helderte.nl, contextvenstertest" en de datum van de test.