› IBM Research heeft op 15 september 2026 een nieuwe techniek gepubliceerd die de betrouwbaarheid van AI-agents aantoonbaar verbetert: consistency guidelines binnen het ALTK-Evolve-systeem, die de consistentiekloof bij herhaalbare taken halveren.Het probleem dat de onderzoekers aanpakken is concreet: op de AppWorld-benchmark slaagt een ReAct-agent die GPT-4.1 gebruikt gemiddeld in 77,4% van de runs, maar als dezelfde taak vijf keer herhaald wordt, lukt het bij slechts 53,0% van de taken om álle vijf pogingen succesvol te voltooien.
› Die kloof van 24,4 procentpunten loopt bij moeilijke taken op tot 30 punten.
› Gangbare leaderboards rapporteren alleen het eerste cijfer - het gemiddelde - en verbergen daarmee dit betrouwbaarheidsprobleem.Om de oorzaak te vinden introduceren de onderzoekers de Consistency Analyzer.
› Het gereedschap neemt één opgenomen trajectory van een agent en hersampled elk beslissingspunt daarin met k completions (standaard k=5).