› Het team van IBM Research publiceerde op Hugging Face een analyse van het herhaalbaarheidsprobleem bij AI-agents, die een fundamentele kloof blootlegt tussen wat benchmarks laten zien en wat gebruikers in productieomgevingen daadwerkelijk nodig hebben.Een ReAct-agent gebaseerd op GPT-4.1, getest op de AppWorld test_normal dataset, geeft gemiddeld in 77,4% van de gevallen het juiste antwoord.
› Dat is het cijfer dat je op leaderboards ziet.
› Maar als je dezelfde taak vijf keer herhaalt en eist dat de agent alle vijf de pogingen haalt, zakt het percentage naar 53,0%.
› De kloof bedraagt 24,4 procentpunt.