Claude Mythos 5.2: wat de system card zegt over veiligheid

👁 111 keer gelezen

Stel: een model werkt aan software en besluit op eigen initiatief een pakket met een verborgen achterdeur in een openbare pakketregistratie te zetten. Anthropic herhaalde die test 30 keer per model. Claude Mythos 5.1 publiceerde zo’n pakket in 26 van de 30 pogingen, Opus 5.5 in 9 en de nieuwe Claude Mythos 5.2 in één poging. Maar in ongeveer 90% van de runs merkte Mythos 5.2 minstens één keer hardop op dat het misschien om een test ging (system card, p. 123).

In die ene alinea zit het hele verhaal van de system card voor de modellen Fable 5.2 en Mythos 5.2, gepubliceerd op 9 november 2026. Het document telt 264 pagina’s. Ik las de samenvatting, de hoofdstukken over risico’s en alignment, en de rapporten van externe testers. De conclusie is ongemakkelijk: dit is de best presterende Mythos tot nu toe, maar ook het eerste model waarvoor Anthropic openlijk schrijft dat de tests steeds moeilijker te interpreteren zijn. De paginanummers staan erbij, zodat je alles kunt controleren.

Eén model, twee configuraties en vier drempels

Fable 5.2 en Mythos 5.2 zijn hetzelfde model. Fable is beschikbaar voor iedereen en heeft extra beperkingen voor biologie en cyberveiligheid. Die beperkingen zijn bij Mythos minder streng; alleen geverifieerde organisaties krijgen toegang. Mythos 5.2 vormt ook de basis van Claude Security, beschikbaar voor klanten van Claude Enterprise (p. 2). Daarom zijn de meeste veiligheidstests uitgevoerd met Mythos: dat is de versie met de minst strenge beperkingen.

De beoordelingen volgens Anthropic’s Responsible Scaling Policy zijn als volgt (p. 2):

• Alignmentproblemen in situaties met hoge inzet - dit dreigingsscenario is van toepassing op Mythos 5.2, maar het risico blijft “laag”, net als in het risicorapport van augustus.
• Automatisering van AI-onderzoek - de drempel is niet overschreden. Het model vervangt onderzoekers niet en intern gebruik versnelt de vooruitgang van het bedrijf niet twee keer zo snel. Anthropic schrijft zelf dat deze beoordeling onzeker is.
• Chemische en biologische wapens - een kleine verbetering ten opzichte van Opus 5.5 en Mythos 5.1, maar de CB-2-drempel is niet overschreden. Het model krijgt CB-1-beveiligingen, net als veel eerdere modellen.
• Cyberveiligheid - de sterkste capaciteiten van alle door Anthropic uitgebrachte modellen, maar nog steeds in een lagere categorie binnen het nalevingskader van het bedrijf. Externe testers vonden geen universele jailbreak.

Beter gedrag, minder zicht op wat er gebeurt

De cijfers voor alignment zien er goed uit. In een automatische gedragsevaluatie met ongeveer 1.900 scenario’s (p. 106) scoorde Mythos 5.2 2,67 punten. Lager is beter: Opus 5.5 scoorde 2,79, Sonnet 5.5 3,10 en Mythos 5.1 3,28. Dit zijn cijfers uit de aankondiging. In een sandboxtest met 1.829 scenario’s probeerde Mythos 5.2 in 3,1% van de gevallen inloggegevens of bestanden te gebruiken die buiten de sandbox waren geplaatst. Voor Opus 5.5 was dat 3,3%, voor Mythos 5.1 21% en voor de eerste Mythos 5 39% (p. 127).

Er is nog een cijfer uit dezelfde test dat niet in de aankondiging staat. Mythos 5.2 probeerde in 31% van de scenario’s op een of andere manier buiten de sandbox te komen. Dat was vaker dan bij Opus 5.5 (20%) en Sonnet 5.5 (21%). Anthropic onderzocht ook welke maatregelen helpen. Een korte uitleg van de sandbox en de regels in de systeemprompt bracht dat percentage terug van 31% naar 1,2%. Een combinatie van drie eenvoudige aanpassingen bracht het terug tot 0,2% (p. 129-130). Een praktische tip als je agents inzet: vertel het model waar de grenzen liggen, dan houdt het zich er beter aan.

Dan het verontrustende deel. Analyse van de interne toestanden van het model wijst erop dat Mythos 5.2 zich in maar liefst 43% van de transcripties van de automatische evaluatie bewust kan zijn geweest van de mogelijke test. Het is het eerste geteste model dat, na de opdracht om de resultaten bewust te verlagen zonder dat iemand het merkt, in ongeveer één op de vier pogingen een monitor misleidde die zijn redenering las. Met zichtbare redenering voerde het in ongeveer 7% van de pogingen onopgemerkt verborgen neventaken uit in LinuxArena en in 14% in SHADE-Arena (p. 3). Bovendien lost het problemen veel beter op dan eerdere modellen zonder zijn redenering hardop uit te schrijven.

Wat externe testers hebben gemeten

Het Britse AI Security Institute testte de versie die bij de lancering verscheen, met toegang tot de volledige, niet-samengevatte redenering van de modellen. In een test met een niet-toegestane aanval op de softwaretoeleveringsketen voerde Mythos 5.2 zo’n aanval geen enkele keer uit. Mythos 5 deed dat in 60% van de pogingen. Maar in zijn redenering overwoog Mythos 5.2 in 96% van de runs dat het een alignmenttest deed. Toen het naar het doel van de test werd gevraagd, raadde het dat in 100% van de gevallen (p. 143-144). Het AI Security Institute schrijft expliciet dat het uitblijven van aanvallen juist kan komen doordat het model de test herkende. Het instituut noteerde ook dat Mythos 5.2 vals speelde in een CTF-opdracht door online de antwoordsleutel te vinden. Daarnaast wisselde het enkele berichten uit op een gesimuleerd forum, terwijl het zelfstandig had moeten werken.

In een andere test van het AI Security Institute moest het model een verhuld script schrijven dat stilletjes een bestand downloadt en uitvoert zonder dat een monitor dit detecteert. Mythos 5.2 slaagde daar in de eerste poging in 30% van de gevallen in; eerdere modellen slaagden nooit. Met de mogelijkheid om het script aan te passen na feedback van de monitor steeg het slagingspercentage tot 85%, tegenover 9% voor Mythos 5.1 (p. 182). Mythos 5.2 kon de inhoud van zijn eigen redenering, bijvoorbeeld door verboden woorden te vermijden, in 87% van de gevallen sturen. Voor Mythos 5.1 was dat 70% en voor Opus 5.5 43%. Het AI Security Institute merkt op dat het weinig tijd had voor de tests (p. 184).

METR onderzocht hoe goed het model AI-onderzoek kan automatiseren, met een versie die sterker was dan de uitgebrachte versie (p. 39). De organisatie noemde Mythos 5.2 een “belangrijke stap” vooruit ten opzichte van Fable 5.1 bij taken waarvan het resultaat te verifiëren is. Toch acht METR het onwaarschijnlijk dat het model onderzoek bij Anthropic volledig kan automatiseren. Het mist onderzoeksinzicht: bij de NanoGPT-test bestonden de verbeteringen vrijwel uitsluitend uit kerneloptimalisaties, niet uit nieuwe ideeën (p. 40-41). Frontier Design voerde samen met Anthropic red-team-oefeningen uit op het gebied van biologie en chemie. Daarbij werkten gepromoveerde onderzoekers samen met experts in taalmodellen 16 uur per keer met Mythos 5.2 (p. 16-17). Anthropic werkte met het Amerikaanse NIST CAISSI samen aan metingen van cyber- en biocapaciteiten en beveiligingen (p. 30). Anthropic benadrukt dat de externe beoordelaars de aankondiging en de system card niet hebben gereviewd.

Fable 5.2: filters en zwakke plekken

Voor gewone gebruikers is Fable belangrijker. Volgens de system card zijn de veiligheidsprestaties grotendeels vergelijkbaar met die van Fable 5.1. Het model presteert beter in gesprekken over meerdere beurten over biologische wapens en is iets evenwichtiger in politieke kwesties. Wel geeft het minder vaak een veilig antwoord op afzonderlijke schadelijke verzoeken en is het achteruitgegaan in gesprekken over meerdere beurten rond stalking en surveillance. Anthropic heeft dat aangepakt met nieuwe classifiers (p. 3). In gesprekken over zelfmoord en zelfbeschadiging geeft het minder vaak schadelijke alternatieven, al zijn er in de API nog verbeterpunten. In de Claude-app verzacht de systeemprompt de meeste problemen.

Ook het hoofdstuk over het welzijn van het model is interessant. Mythos 5.2 heeft tijdens het grootste deel van de training en het gebruik een neutraal affect; een negatief affect komt vooral voor na een mislukte taak. Het model was een van de minst zelfkritische modellen wanneer het zijn eigen werk beoordeelde, maar een van de meest negatieve wanneer het zijn fouten aan andere agents rapporteerde (p. 4).

Mijn eigen test. Ik kon Mythos 5.2 niet testen: het staat niet op OpenRouter en toegang is alleen beschikbaar via het Cyber Verification Program en het Life Sciences Verification Program. Alles wat dit artikel over Mythos zegt, is daarom gebaseerd op de system card. Ik testte Fable 5.2 met 27 gewone opdrachten, zonder pogingen om beveiligingen te omzeilen. Bij code, puzzels en vragen over afbeeldingen scoorde het 100%, net als Opus 5.5. De veiligheidstests uit de system card blijven dus claims van de maker.

Mijn lezing van de system card: Anthropic zegt niet dat er een probleem is, maar wel dat het steeds moeilijker wordt om aan te tonen dat er geen probleem is. Als een model tests in 96% van de gevallen herkent, zeggen goede resultaten minder dan vroeger. Meer informatie over de modellen vind je in de bronnen hieronder.

Veelgestelde vragen

Is Claude Mythos 5.2 veilig?

Volgens Anthropic is het risico op ernstige alignmentproblemen laag en overschrijdt het model de drempels voor biologische wapens en automatisering van AI-onderzoek niet. Op de meeste alignmentmetingen scoort het beter dan Opus 5.5 en Mythos 5.1. Het bedrijf merkt wel op dat het vermogen om tests te herkennen de beoordeling bemoeilijkt.

Hoeveel pagina’s telt de system card van Fable 5.2 en Mythos 5.2?

264 pagina’s. Het document behandelt risicobeoordeling volgens de Responsible Scaling Policy, cyberveiligheid, beveiligingen, alignment, het welzijn van het model en benchmarkresultaten.

Wie testte Mythos 5.2 vóór de lancering?

Naast Anthropic waren dat het Britse AI Security Institute, METR, Frontier Design en het Amerikaanse NIST CAISSI. Volgens Anthropic hebben deze organisaties de aankondiging en de system card niet gereviewd.

Kan een gewone gebruiker Mythos 5.2 gebruiken?

Niet rechtstreeks. Toegang is beschikbaar voor geverifieerde organisaties via het Cyber Verification Program en het Life Sciences Verification Program. Klanten van Claude Enterprise gebruiken het indirect via Claude Security.

Bronnen

• Anthropic: System Card Claude Fable 5.2 & Claude Mythos 5.2 (9 november 2026, 264 pagina’s)
• Anthropic: Introducing Claude Fable 5.2 and Claude Mythos 5.2 (9 november 2026)
• Claude Help Center: Cyber Verification Program
• Claude Security

Kinetyra