IBM Research halveert inconsistentie bij AI-agents met nieuwe richtlijntechniek
IBM Research heeft een methode ontwikkeld die de consistentiekloof bij AI-agents - het verschil tussen gemiddelde taakvoltooiing en betrouwbare herhaling - halveert van 24,4 naar 12,0 procentpunten.
👁 115 keer gelezen
IBM Research heeft op 15 september 2026 een nieuwe techniek gepubliceerd die de betrouwbaarheid van AI-agents aantoonbaar verbetert: consistency guidelines binnen het ALTK-Evolve-systeem, die de consistentiekloof bij herhaalbare taken halveren.
- Een ReAct-agent op GPT-4.1 slaagt gemiddeld in 77,4% van de runs, maar voltooit slechts 53,0% van de taken bij alle vijf herhalingen - een gap van 24,4 procentpunten
- De Consistency Analyzer detecteert wankele beslissingspunten door één opgenomen trajectory te hersampling met k=5 completions, zonder de taak volledig opnieuw uit te voeren
- Consistency guidelines op basis van die diagnose brengen de Pass⁵-score voor soortgelijke taken 13,0 procentpunten omhoog zonder verlies in gemiddelde nauwkeurigheid
Het probleem dat de onderzoekers aanpakken is concreet: op de AppWorld-benchmark slaagt een ReAct-agent die GPT-4.1 gebruikt gemiddeld in 77,4% van de runs, maar als dezelfde taak vijf keer herhaald wordt, lukt het bij slechts 53,0% van de taken om álle vijf pogingen succesvol te voltooien. Die kloof van 24,4 procentpunten loopt bij moeilijke taken op tot 30 punten. Gangbare leaderboards rapporteren alleen het eerste cijfer - het gemiddelde - en verbergen daarmee dit betrouwbaarheidsprobleem.
Om de oorzaak te vinden introduceren de onderzoekers de Consistency Analyzer. Het gereedschap neemt één opgenomen trajectory van een agent en hersampled elk beslissingspunt daarin met k completions (standaard k=5). Zo worden de stappen blootgelegd waar het model met één andere token-keuze een ander pad had genomen. Belangrijk: er is geen ground truth nodig en de taak hoeft niet volledig opnieuw uitgevoerd te worden.
Die diagnose wordt vervolgens omgezet in zogenoemde consistency guidelines - herbruikbare richtlijnen die bij inferentie automatisch worden teruggekoppeld aan de agent. Het resultaat: de kloof daalt van 24,4 naar 12,0 procentpunten. De Pass⁵-score op dezelfde taken stijgt met 16,0 procentpunten, op vergelijkbare taken met 13,0 procentpunten, zonder verlies in gemiddelde nauwkeurigheid. De volledige methode staat beschreven in het technisch rapport op arXiv.
Praktisch gezien betekent dit dat wie agents inzet voor repetitieve processen - denk aan contractcontrole, financiële reconciliatie of klantvragen - niet kan volstaan met een eenmalige benchmarkscore. De Pass⁵-maatstaf is relevanter dan het gemiddelde voor elke toepassing waar de agent dezelfde vraag van verschillende gebruikers krijgt. ALTK-Evolve biedt een kant-en-klare manier om die consistentie te meten én te verbeteren met bestaande trajectgegevens.
Google · Jouw bronnenHoger in Google - met één klikToevoegen aan voorkeursbronnen →
More on this from HELDER
benchmarks·Open Chinese AI-modellen lopen nog maar 4,4 maanden achter op gesloten frontiermodellen