Agent AI slaagt één keer. Lukt het ook de tweede keer?
IBM Research toont aan dat AI-agents veel minder betrouwbaar zijn dan benchmarks doen geloven. Een agent die gemiddeld 77% haalt, slaagt slechts 53% van de tijd.
👁 117 keer gelezen
Het team van IBM Research publiceerde op Hugging Face een analyse van het herhaalbaarheidsprobleem bij AI-agents, die een fundamentele kloof blootlegt tussen wat benchmarks laten zien en wat gebruikers in productieomgevingen daadwerkelijk nodig hebben.
Een ReAct-agent gebaseerd op GPT-4.1, getest op de AppWorld test_normal dataset, geeft gemiddeld in 77,4% van de gevallen het juiste antwoord. Dat is het cijfer dat je op leaderboards ziet. Maar als je dezelfde taak vijf keer herhaalt en eist dat de agent alle vijf de pogingen haalt, zakt het percentage naar 53,0%. De kloof bedraagt 24,4 procentpunt. Bij de moeilijkste taken loopt dit op tot 30 procentpunt.
Het verschil tussen deze twee metrieken is geen technische curiositeit. In een productiecontext - het verifiëren van verplichtingen in een contract, het afstemmen van financiële transacties - is een workflow die de ene keer slaagt en de andere keer faalt bij een identieke vraag een probleem, geen statistiek.
Twee metrieken, twee vragen
De onderzoekers wijzen op een belangrijk terminologisch verschil. Mean@k beantwoordt de vraag: hoe goed is de agent gemiddeld? Pass^k (niet te verwarren met het populaire Pass@k) beantwoordt de vraag die een echte gebruiker zich stelt: voert de agent elke keer dezelfde taak correct uit? Pass@k is optimistisch - één succes uit k pogingen is genoeg. Pass^k is pessimistisch - elke poging moet slagen. De meeste benchmarks rapporteren uitsluitend dat eerste getal.
Google · Jouw bronnenHoger in Google - met één klikToevoegen aan voorkeursbronnen →Diagnose en behandeling
IBM Research bouwde de Consistency Analyzer - een tool die een opgeslagen agent-traject analyseert en zoekt naar beslispunten waar het model op één token na een andere route had kunnen kiezen. Belangrijk: de tool werkt op één opgeslagen traject en vereist geen ground truth of het opnieuw uitvoeren van de hele taak. Bij elk beslispunt haalt het k=5 aanvullingen op met één extra modelaanroep.
Op basis van deze diagnose genereert het systeem ALTK-Evolve zogenaamde consistency guidelines - consistentierichtlijnen die tijdens inferentie aan de agent worden toegevoegd. Het effect: de Pass^5-kloof daalt van 24,4 naar 12,0 procentpunt. Bij taken van hetzelfde type stijgt het Pass^5-resultaat met 16,0 procentpunt, bij vergelijkbare taken met 13,0 procentpunt. De gemiddelde nauwkeurigheid daalt niet.
De volledige methodologie en resultaten zijn beschikbaar in het technische rapport op arXiv.
Het is een interessante herinnering dat het verbeteren van de gemiddelde nauwkeurigheid met een paar punten minder waardevol kan zijn dan ervoor zorgen dat een agent stopt met het gokken van antwoorden bij dezelfde vraag.
More on this from HELDER
benchmarks·AI-modellen test 16.09.2026: 7 modellen, 4 taken, volledige resultatenZeven AI-modellen getest op identieke taken: tekstredactie, tabel-extractie, code en contextvenster. Eén doorloop, temperatuur 0, PHP-validatie.