Fable 5.1 getest: één taak liet het model vastlopen
We testten Claude Fable 5.1 op de dag van lancering met zes taaltaken. Het model presteerde goed, maar liep volledig vast bij één simpele opdracht.
Update (9 november 2026): Claude Fable 5.2 en Mythos 5.2 zijn uit - prijzen, toegang en benchmarks in mijn gids over Claude Fable 5.2.
👁 116 keer gelezen
We testten Claude Fable 5.1 op de dag van lancering met zes Poolse taaltaken. Het model presteerde goed, maar liep volledig vast bij één simpele opdracht - een probleem dat ook zijn voorganger had.
Bij elke modellancering is het hetzelfde ritueel: de fabrikant toont grafieken waarop de nieuwkomer beter presteert dan zijn voorganger, en onafhankelijke metingen verschijnen pas dagen later. Daartussenin zit een gat waarin niets zeker is. We besloten dat gat op onze manier op te vullen en lieten Claude Fable 5.1 op de avond van de lancering door een set taken lopen waarmee we sinds half augustus modellen meten.
De methode is saai en juist daarom werkt hij. Zes taken, elk met een eenduidige uitkomst: verbuiging van vreemde eigennamen, verzamelnaamwoorden, hoofd- en kleine letters, deelwoordconstructies, komma’s en het herschrijven van ambtelijke taal naar gewone taal. Dezelfde temperatuur 0,2, dezelfde responslimiet, dezelfde tijdslimiet. Naast Fable 5.1 zetten we zijn voorganger Fable 5 en Opus 5, het model dat hetzelfde bedrijf voor de helft van de prijs verkoopt.
De taak die het nieuwe model niet afmaakte
Het interessantste gebeurde bij de tweede taak, de verzamelnaamwoorden. Fable 5.1 gaf geen antwoord. Hij maakte geen fout, weigerde niet, maar gaf gewoon drie minuten lang niets terug totdat we de verbinding sloten. Nul output-tokens, nul kosten, geen antwoord.
Dit is geen incident van één avond. Toen we dezelfde set in augustus draaiden, gedroeg Fable 5 zich precies hetzelfde: hij liep vast bij de taak met verbuiging van eigennamen en hing totdat de limiet van vijf minuten verstreken was. Met andere woorden: deze modelfamilie heeft een herhaalbaar probleem met vastlopen bij korte taaltaken, en de nieuwe versie heeft dat niet verholpen. In dezelfde run antwoordden Fable 5 en Opus 5 zonder haperen op de verzamelnaamwoorden in nog geen tien seconden, en beide antwoorden waren correct.
Het is goed om te weten dat we het hebben over een taak die je op de basisschool leert: vijf kinderen, twee jongens, vier vrouwen, drie studenten slaagden voor het examen, zeven auto’s. Er zit geen valstrik in behalve de taal zelf.
Waar hij wel antwoordde, presteerde hij zeer goed
De rest van de meting ziet er gunstig uit voor de nieuwe versie. Fable 5.1 loste de overige vijf taken correct op en was daarbij het snelst van het drietal: gemiddeld 6,5 seconden per antwoord, tegenover 7,2 seconden bij Fable 5 en 8,2 seconden bij Opus 5.
Het duidelijkste kwaliteitsverschil verscheen bij de taak over hoofd- en kleine letters. Beide Fable-modellen corrigeerden de zin zoals de Poolse norm voorschrijft: burgemeester van Warschau met kleine letter, gemeentehuis als informele naam met kleine letter, meneer de directeur met kleine letter, en Ministerie van Digitalisering en Kerstmis met hoofdletter. Opus 5 liet Gemeentehuis en Meneer de Directeur met hoofdletters staan, dus maakte precies de fout die in Poolse officiële documenten het meest voorkomt.
Een detail dat ons amuseerde: bij de komma-taak had de invoertekst geen diakritische tekens, omdat we hem vanaf het begin zo aanbieden. Fable 5.1 was als enige die uit zichzelf de Poolse diakritische tekens in de hele alinea herstelde, hoewel niemand daarom had gevraagd. Fable 5 en Opus 5 lieten de tekst netjes zoals ze hem kregen. Overijverig, maar in de goede richting.
Wat het kostte
De hele set van zes taken kostte ons 7 dollarcent op Fable 5.1, bijna 9,6 dollarcent op Fable 5 en net geen 6 dollarcent op Opus 5. Fable 5.1 kwam goedkoper uit dan zijn voorganger ondanks identieke tarieven per token, omdat hij simpelweg minder praatte: bij het corrigeren van deelwoorden sloot hij af met 88 tokens waar Fable 5 er 257 nodig had en Opus 5 zelfs 358.
Er is echter een uitzondering die dit plaatje verstoort. Bij de taak over hoofdletters gebruikte Fable 5.1 675 output-tokens om een antwoord te geven dat teken voor teken identiek was aan wat Fable 5 in 359 tokens gaf. Voor precies hetzelfde resultaat betaalden we bijna twee keer zoveel. Bij één zin zijn dat centen, bij duizenden queries per dag is het al een budgetpost.
Wat dit betekent bij de keuze van een model
Fable 5.1 kost 10 dollar per miljoen input-tokens en 50 per miljoen output. Opus 5 van dezelfde stal kost 5 en 25, dus precies de helft. In onze Poolse taaltest won het duurdere model één taak, verloor er één door geen antwoord te geven en was anderhalf seconde sneller per query.
Dat is geen resultaat dat het tweevoudige prijsverschil rechtvaardigt bij schrijven en redigeren in het Pools. Als je dat dagelijks doet, zal de goedkopere Opus 5 het werk net zo goed doen en bij langere teksten de helft van de rekening in je zak laten. Fable 5.1 verdedigt zich elders: bij code en lange onderzoekstaken, die deze set bewust niet raakt.
Eén voorbehoud dat we onszelf stellen: dit is een meting van de lanceringsdag, op zes taken en één run elk. Dit is geen benchmark met honderden herhalingen en doet zich ook niet als zodanig voor. Het laat zien hoe de modellen zich op ons bureau de eerste avond gedroegen, en het toont één ding dat geen enkel officieel materiaal zal laten zien: dat de nieuwe versie kan vastlopen bij een taak voor een achtstegroeper.
We zullen dezelfde set over een paar dagen herhalen, wanneer de lanceringsdruk is afgenomen, en controleren of het vastlopen bij verzamelnaamwoorden verdwijnt. Als het blijft, betekent dat dat het probleem in het model zit en niet in de serverbelasting.
Google · Jouw bronnenHoger in Google - met één klikToevoegen aan voorkeursbronnen →Veelgestelde vragen
Presteert Fable 5.1 beter in het Pools dan de goedkopere Opus 5?
In de test op zes taken won Fable 5.1 er één en verloor er één door geen antwoord te geven, terwijl hij anderhalf seconde sneller was per query. We stellen vast dat het resultaat het tweevoudige prijsverschil niet rechtvaardigt bij schrijven en redigeren in het Pools.
Waarom was Fable 5.1 goedkoper in gebruik dan zijn voorganger, terwijl de tarieven per token identiek zijn?
Fable 5.1 genereerde kortere antwoorden - bijvoorbeeld bij het corrigeren van deelwoorden sloot hij af met 88 tokens, terwijl Fable 5 er 257 nodig had en Opus 5 zelfs 358. Een uitzondering was de taak over hoofdletters, waar Fable 5.1 675 output-tokens gebruikte voor een antwoord dat identiek was aan wat Fable 5 in 359 tokens gaf.
Wat was het probleem met het vastlopen van de Fable-modellen?
Fable 5.1 gaf geen enkel antwoord op de taak met verzamelnaamwoorden - hij maakte geen fout en weigerde niet, maar genereerde drie minuten lang simpelweg geen output-tokens. Een identiek probleem deed zich eerder voor bij Fable 5, die vastliep bij de taak met verbuiging van eigennamen en vijf minuten hing.
More on this from HELDER
benchmarks·GPT-6 Astra benchmarks: drie tests waarin het model verliestGPT-6 Astra wint de meeste benchmarks, maar verliest op drie cruciale punten van Claude. We analyseerden alle testresultaten.