Gemini 3.8 Flash test: contextvenster AI getest met Pools
We verstopten één zin in 90.000 tekens Poolse tekst en lieten vijf AI-modellen ernaar zoeken. Drie slaagden, twee faalden - en het prijsverschil was 17x.
👁 117 keer gelezen
Elke fabrikant schept tegenwoordig op over een contextvenster van een miljoen tokens. Dat klinkt alsof je een heel boek in het model kunt stoppen en naar details kunt vragen. We besloten te testen of dat werkt, en begonnen voorzichtig: niet met een miljoen, maar met vijfentwintigduizend tokens - ongeveer drie procent van het beloofde venster.
Al op dat niveau faalden twee van de vijf modellen. Eentje vond de verstopte zin niet, een ander gaf twee keer helemaal geen antwoord, ondanks vijf minuten wachten.
Hoe we dit testten
We bouwden een lange tekst in het Pools uit eerder gepubliceerde artikelen - natuurlijke taal dus, geen gegenereerde opvultekst. Negentigduizend tekens doorlopende tekst.
Middenin verstopten we één zin die daar absoluut niet thuishoort: informatie over een servicecode voor een kist op zolder. We plaatsten de zin op drie dieptes: na tien procent van de tekst, halverwege en na negentig procent. Vervolgens vroegen we het model alleen de code te geven.
Dit is een test voor één ding: heeft het model echt alles gelezen, of alleen het begin en het einde?
Resultaten
| Model | Score | Kosten drie vragen | Gemiddelde tijd |
|---|---|---|---|
| Gemini 3.8 Flash | 3 / 3 | 0,05889 USD | 3,3 s |
| Kimi K3 | 3 / 3 | 0,23751 USD | 5,1 s |
| GPT-6 Astra | 3 / 3 | 1,00205 USD | 2,0 s |
| DeepSeek V4 Flash | 2 / 3 | 0,00777 USD | 4,0 s |
| GLM 5.3 Flash | 1 / 3 | 0,00429 USD | 5,4 s |
De hele test kostte 1,31 dollar.
Drie van de vijf slaagden, maar de kosten verschilden enorm
Gemini 3.8 Flash, Kimi K3 en GPT-6 Astra vonden de verstopte zin op elke diepte. Het verschil zit in de rekening.
GPT-6 Astra rekende 1,00 dollar voor drie vragen. Gemini 3.8 Flash deed precies hetzelfde voor 0,059 - zeventien keer goedkoper. Voor één vraag scheelt dat 33 cent. Bij een tool die dagelijks documenten doorzoekt, is dat het verschil tussen een rekening die je niet opmerkt en eentje die je moet verantwoorden.
Astra heeft wel één voordeel dat in de praktijk vaak doorslaggevend is: hij antwoordde in twee seconden, het snelst van allemaal, ongeacht waar we de zin verstopten.
GLM 5.3 Flash gaf twee van de drie keer geen antwoord
Het model dat onze test van Poolse grammatica won, presteerde hier het slechtst. Bij de zin verstopt op tien procent en op negentig procent overschreed het de limiet van vijf minuten en gaf niets terug. Het vond alleen de zin die precies halverwege stond.
Dit is al de derde keer dat ditzelfde model op dezelfde manier faalt. Eerder verbrandde het de hele tokenlimiet aan redeneren en leverde nul woorden bij een verzoek om een artikel, en in de test van negen opdrachten gaf het drie keer een leeg antwoord en had het 353 seconden nodig.
De oorzaak is elke keer dezelfde: in dit model kun je het redeneren niet uitschakelen. Bij een korte opdracht verhoogt dat alleen de rekening. Bij langere input kan het het antwoord volledig blokkeren.
De conclusie is ongemakkelijk, maar moet getrokken worden: een model kan heel goed zijn in het Pools en tegelijk onbruikbaar voor alles wat met langere teksten werkt.
Het interessantst was een bijvangst: dezelfde tekst, verschillend aantal tokens
We stuurden alle modellen identieke tekst. Elk telde anders, omdat elk het Pools op zijn eigen manier in tokens verdeelt.
| Model | Tokens voor dezelfde tekst | Ten opzichte van beste |
|---|---|---|
| Gemini 3.8 Flash | 24.857 | referentiepunt |
| GPT-6 Astra | 26.662 | 7% meer |
| GLM 5.3 Flash | 27.757 | 12% meer |
| DeepSeek V4 Flash | 27.998 | 13% meer |
| Kimi K3 | 35.642 | 43% meer |
Dit is een verborgen kostenpost waar niemand over praat bij het vergelijken van prijslijsten. Kimi K3 heeft voor dezelfde Poolse tekst 43 procent meer tokens nodig dan Gemini. Bij een identiek tarief per miljoen tokens betekent dat 43 procent hogere kosten voor precies hetzelfde werk.
Het Pools staat hier slechter voor dan Engels, omdat modellen vooral op Engelse teksten getraind zijn en onze verbuigingen in meer stukjes uiteenvallen. Hoe slechter de verdeling, hoe meer je betaalt voor dezelfde zin.
Een verrassing die we niet kunnen verklaren
DeepSeek V4 Flash vond de zin verstopt op tien procent van de tekst - dus vlak bij het begin - niet, maar vond hem zonder problemen halverwege en aan het eind. Dat is andersom dan je intuïtie suggereert, want het begin is meestal het makkelijkst.
We hebben hier geen verklaring voor en gaan er geen verzinnen. Eén poging per diepte is te weinig om van een patroon te spreken. We noteren het als feit uit deze meting, niet als regel.
Wat deze test niet zegt
We testten geen miljoen tokens, maar vijfentwintigduizend. We weten dus niet hoe deze modellen zich gedragen bij het volledige venster, en niemand weet dat totdat je ervoor betaalt om het te testen.
We testten ook geen begrip, alleen opsporing. Eén zin vinden is de simpelste mogelijke opdracht voor een lange tekst. Moeilijkere vragen die informatie uit meerdere plekken moeten combineren, zouden bij allemaal slechter uitpakken.
En iets om bij elke vergelijking te onthouden: de prijs op de modelkaart hoeft niet de prijs te zijn die je betaalt, omdat tientallen bedrijven hetzelfde model hosten met eigen tarieven.
Google · Jouw bronnenHoger in Google - met één klikToevoegen aan voorkeursbronnen →Wat dit praktisch betekent
Voor het doorzoeken van documenten in het Pools: kies Gemini 3.8 Flash. Alle vragen goed, drie seconden en een rekening zeventien keer lager dan het duurste model met hetzelfde resultaat. Daarbij de beste tokenverdeling voor Pools, wat de kosten nog verder verlaagt voordat je überhaupt een vraag stelt.
Ga er niet van uit dat het gedeclareerde contextvenster werkt. Test het op je eigen materiaal door er iets in te verstoppen dat er niet thuishoort. Het kost een kwartier en zegt meer dan alle tabellen van fabrikanten.
Tel tokens, geen tekens. Bij de keuze van een model voor Poolse teksten kan het verschil in tokenverdeling meer kosten dan het verschil in prijslijst.
Hoeveel het werken met deze modellen bij schrijven - in plaats van lezen - werkelijk kost, hebben we apart gemeten in het artikel over hoeveel een door AI geschreven artikel kost.
More on this from HELDER
benchmarks·Nieuwe AI-modellen laten je redeneren niet uitschakelenZeven van de achttien geteste modellen weigeren het uitschakelen van redeneren met een foutmelding. Je betaalt voor tekst die je nooit ziet.