Muse Wonder benchmarks uitgelegd: 14 Meta-tests ontleed

👁 112 keer gelezen

Meta presenteerde Muse Wonder met een tabel vol veertien benchmarks waarin bijna niemand meer dan twee namen herkent. Hieronder leggen we elke test in begrijpelijke taal uit: wat er precies wordt gemeten, welke score Muse Wonder haalt (volgens Meta zelf) en waar je op moet letten voordat je concludeert dat het model daadwerkelijk wint. In het kort: drie van de veertien tests zijn interne metingen van Meta, in meerdere categorieën waren de testomstandigheden niet voor iedereen gelijk, en bij computerbediening en programmeren vanaf nul verliest Meta het van Claude Opus 5.5. Een complete bespreking van het model vind je in onze gids over Muse Wonder.

Alle 14 benchmarks in één overzicht

Bron: tabel en modelkaart van Meta van 12 oktober 2026. De kolom Gemeten door volgt de methodologische toelichting in de modelkaart.

Persoonlijke taken: PSI en MemoryBench

De Personal Superintelligence Index vormt het paradepaardje van de introductie en is tegelijkertijd het minst onafhankelijk. Meta stelde de index samen uit zeven deeltests: Agents’ Last Exam, AutomationBench-AA, FocusBench, JobBench, GDP.pdf, VBT en DRACO. Twee daarvan (FocusBench en VBT) zijn volledig intern ontwikkeld. Omdat Meta zelf bepaalde welke onderdelen meewegen, toont de index vooral aan dat Wonder Full het sterkst presteert op de selectie die Meta belangrijk vindt. Het werkt als een meerkamp: een overwinning in het algemeen klassement betekent niet dat je elk individueel onderdeel wint.

MemoryBench controleert of een model essentiële details onthoudt tijdens een langdurig gesprek (64.000 tot 100.000 tokens), zelfs als er gaandeweg tegenstrijdige of gecorrigeerde instructies voorbijkomen. Dat is waardevol voor een assistent die je persoonlijke voorkeuren moet bewaren, maar de test is intern opgezet en wordt beoordeeld door een AI-jurylid. Opvallend detail: het reguliere Wonder-model scoort hier 0,1 punt hoger dan de Full-versie. Een soortgelijk mechanisme toetste ik zelf met tachtig sets bestuursnotulen waarin een besluit in een later verslag werd herroepen; alle vijf geteste modellen doorstonden die proef vlekkeloos, zoals te lezen is in mijn test met 23 praktijktaken.

Zakelijke taken: recht, financiën, zorg en kantoor

• Harvey LAB-AA: de grootste voorsprong voor Meta in het hele overzicht, met 13,1 tegenover 4,2 voor Opus 5.5. De absolute score blijft laag omdat een antwoord pas telt als het document aan alle strikte eisen voldoet én geen enkele hallucinatie bevat. Versie 1.1 voegde deze strikte controle toe, waardoor vergelijken met versie 1.0 niet opgaat.
• Vals Finance Agent V2: analyse van bedrijfsrapportages en marktdata. Wonder Full blijft Fable 5.1 nipt voor met 0,2 punt verschil, praktisch een gelijke stand.
• HealthBench Pro: beantwoording van 525 specialistische medische kwesties zonder externe hulpmiddelen. Hier legt Meta het af: 62,3 tegenover 65,6 voor Opus. De scores van Anthropic zijn door Meta overgenomen uit de officiële systeemkaarten van Claude, niet zelf nagerekend.
• GDP.pdf: verwerking van aangeleverde pdf-documenten, geëvalueerd door Surge. GPT-6 Astra trekt hier aan het langste eind met 34,2.
• JobBench: 65 praktijkopdrachten verspreid over 35 administratieve en zakelijke functies. Vrijwel gelijkspel tussen Full en Opus (75,3 tegenover 75,4).
• AutomationBench-AA: workflows binnen nagebootste bedrijfssoftware, waarbij een taak uitsluitend slaagt als de eindtoestand van de applicatie exact klopt. Full behaalt 45,4, de beste concurrent 41,6.

Computerbediening: OSWorld V2.1

OSWorld bestaat uit 108 opdrachten op een echte Ubuntu-desktop: het model analyseert schermafbeeldingen en gebruikt zelfstandig muis en toetsenbord om te klikken, typen en scrollen. Meta deelt twee getallen, en het loont om beide te bekijken. Bij de deelsevaluatie (punten voor elk correct afgerond deeltraject) noteert Wonder Full 78,4. Kijken we naar de binaire score (de opdracht slaagt alleen als deze van A tot Z perfect is uitgevoerd), dan resteert 39,4. In de praktijk voltooit het model dus grofweg een op de drie complexe taken vlekkeloos. Op deze benchmark blijft Meta achter bij Opus 5.5 (81,8 gedeeltelijk) en Fable 5.1 (80,7 gedeeltelijk en 43,1 binair).

Programmeren: vier benchmarks, vier verschillende invalshoeken

Meta pakt de leiding bij langdurig werk binnen bestaande codebases, maar verliest terrein bij het terminalwerk en bij het opbouwen van software vanaf nul. De modelkaart bevat hier twee belangrijke kanttekeningen: bij SWE-Marathon zijn de resultaten van GPT-6 Astra en Fable 5.1 afkomstig van hun eigen agents (Codex en Claude Code), terwijl Wonder Full draaide met de redenatiestand xhigh. Meta merkt zelf op dat dit geen zuivere vergelijking onder gelijke omstandigheden is. Bij ProgramBench geldt een poging pas als geslaagd wanneer minimaal 95 procent van de verborgen unit tests succesvol doorlopen wordt.

De enige onafhankelijke rij: de Artificial Analysis Index

Artificial Analysis draait zelfstandig tien evaluaties (waaronder GDPval-AA, Terminal-Bench 4.0, Humanity’s Last Exam en SciCode) en voegt die samen tot hun Index 4.3. Op 12 oktober noteerde de ranglijst de volgende scores: Opus 5.5 staat op 58, Wonder Full op 56 (gelijk aan Claude Sonnet 5.5, die Meta op zijn eigen overzicht wegliet) en de reguliere Wonder op 52, wat overeenkomt met GPT-6.1 Sol. Dit is de waarde die het meest evenwichtige beeld geeft. Deze index toont geen percentage opgeloste vraagstukken, maar punten op de gestandaardiseerde AA-schaal.

Waar je op moet letten bij het vergelijken van AI-modellen

• Wie de test uitvoert. Fabrieksdata van de leverancier zijn een claim; metingen door een onafhankelijke partij leveren het bewijs.
• Het redeneerniveau. Meta toont uitsluitend scores op het maximale niveau (max); in standaard webapps en via API’s staat dit doorgaans lager afgesteld.
• Welke variant getest is. De topscores horen bij Wonder Full, terwijl ontwikkelaars via de API vooralsnog met het reguliere Wonder-model werken.
• De meetmethode. Een deelsegmentscore, een strikte succesmeting en een samengestelde index zijn fundamenteel verschillende waarden.
• Je eigen praktijk. In mijn eigen test met 23 praktijkgerichte taken behaalden alle vijf geteste topmodellen een score tussen 99 en 100 procent. De werkelijke verschillen zaten vooral in responstijd en gebruikskosten.

Veelgestelde vragen

Meet de Personal Superintelligence Index werkelijk superintelligentie?

Nee. Het betreft een interne bundeling van zeven tests rond kantoorwerk en persoonlijke assistentie, geselecteerd door Meta. De term is vooral een marketinglabel.

Op hoeveel benchmarks wint Muse Wonder?

Muse Wonder Full zet de hoogste score neer in 7 van de 14 rijen uit de tabel van Meta. De reguliere Muse Wonder, die via de API beschikbaar is, overtreft Opus 5.5 in 5 van de 14 categorieën.

Welke van deze benchmarks zijn daadwerkelijk onafhankelijk?

Harvey LAB-AA, AutomationBench-AA, Terminal-Bench 4.0-AA en de overkoepelende AA-index worden beheerd door Artificial Analysis. Vals Finance is van Vals AI, GDP.pdf komt van Surge, DeepSWE wordt gemeten door Datacurve en SWE-Marathon door Abundant AI. PSI, MemoryBench en de onderdelen FocusBench en VBT zijn interne tests van Meta zelf.

Op welke onderdelen verliest Muse Wonder het van de concurrentie?

Op basis van Meta’s eigen publicatie verliest het model bij ProgramBench (59,0 tegenover 70,5 voor Opus), HealthBench Pro, Terminal-Bench 4.0, OSWorld en GDP.pdf.

// lees verderMuse Wonder vs Opus 5.5 vs GPT-6 Astra: test op 23 takenBenchmarksClaude Opus 5.5 benchmarks: volledige tabel en voetnotenBenchmarksFactory in de praktijk: code reviews, tests en opruimwerkHandleidingen

Kinetyra