Schaal voor zekerheid AI-model: 0-20 werkt beter dan 0-100
Onderzoek toont aan dat taalmodellen beter presteren met een schaal van 0-20 dan 0-100 bij het inschatten van hun eigen zekerheid.
👁 116 keer gelezen
Wanneer we een taalmodel vragen hoe zeker het is van zijn antwoord, ziet het typische patroon er zo uit: het model geeft een getal tussen 0 en 100. Klinkt logisch. Het probleem is dat niemand zich tot nu toe heeft afgevraagd of die schaal überhaupt wel goed is. Yuyang Dai en Yuxia Wang beweren in een paper gepubliceerd in maart 2026 (en bijgewerkt tot september 2026) dat dit een ernstig gemis is.
Het probleem met ronde getallen
De auteurs onderzochten zes taalmodellen op drie datasets en ontdekten iets verontrustends: meer dan 78% van de antwoorden concentreerde zich op slechts drie ronde waarden. Met andere woorden, modellen gebruiken niet de volledige beschikbare schaal - in plaats daarvan graviteren ze naar handige, ronde getallen zoals 50, 80 of 90. Dit betekent dat het merendeel van de nuances in zekerheid in de praktijk ongebruikt blijft.
De auteurs noemen dit fenomeen “discretisatie” en beschouwen het als een serieus probleem voor iedereen die de onzekerheid van modellen probeert te evalueren in zogenaamde black-box settings, dus zonder toegang tot de interne waarschijnlijkheden van het model.
Drie dimensies van het experiment
Om te onderzoeken wat dit probleem veroorzaakt en of het te verhelpen is, manipuleerden de onderzoekers systematisch zekerheidschalen langs drie dimensies. De eerste is granulariteit - hoe gedetailleerd de schaal is. De tweede is de verdeling van grenzen - waar de schaal begint en eindigt. De derde is de regelmaat van het bereik - of de schaal typisch of onregelmatig is.
Om de kwaliteit van metacognitie te beoordelen (dus hoe goed het model weet wat het weet), gebruikten de auteurs een maat genaamd meta-d’. Het document legt niet verder uit wat deze maat precies inhoudt, behalve de naam en toepassing ervan.
Wat werkt en wat niet
De resultaten zijn concreet. Een schaal van 0-20 verbetert consistent de zogenaamde metacognitieve efficiëntie vergeleken met het standaard 0-100 formaat. Dit is de belangrijkste praktische conclusie van het onderzoek.
Aan de andere kant verslechtert “grenscompressie” - het samenpersen van de schaal door de uiteinden dichter bij het midden te plaatsen - de resultaten. De auteurs merken ook op dat de voorkeur voor ronde getallen niet verdwijnt, zelfs wanneer de schaal onregelmatig is. Modellen zoeken toch naar ronde waarden, zelfs als de schaal deze technisch gezien niet uitlicht.
Methodologische conclusie
De auteurs formuleren één hoofdstelling: het ontwerp van de zekerheidsschaal beïnvloedt direct de kwaliteit van verbaliseerde onzekerheid en moet worden behandeld als een volwaardige experimentele variabele bij de evaluatie van taalmodellen. Met andere woorden - als je onderzoekt hoe goed een model zijn eigen zekerheid inschat, moet je rapporteren welke schaal je hebt gebruikt, want dat maakt uit.
Het paper telt 20 pagina’s. De auteurs vermelden in de samenvatting niet welke specifieke modellen ze hebben onderzocht, welke datasets het waren, noch gedetailleerde cijfers over de verbetering door de 0-20 schaal - die informatie staat niet in de geleverde tekst.
Google · Jouw bronnenHoger in Google - met één klikToevoegen aan voorkeursbronnen →Wat dit betekent
Naar onze mening heeft dit onderzoek praktische betekenis, zij het beperkt. Als je een systeem bouwt waarin het model zelf zijn zekerheid beoordeelt en die beoordeling doorgeeft - naar de gebruiker of naar een ander component - dan is de keuze van de schaal geen kwestie van esthetiek. Het resultaat dat meer dan driekwart van de antwoorden op drie getallen belandt bij een schaal van 0-100, suggereert dat die schaal simpelweg potentieel verspilt en een illusie van precisie geeft die er niet is. De aanbeveling om een schaal van 0-20 te proberen is eenvoudig te implementeren en - als de resultaten van het onderzoek worden bevestigd - het testen waard. Jammer dat de samenvatting geen toegang geeft tot details, want zonder te weten welke modellen en data zijn getest, is het moeilijk te beoordelen hoe breed deze conclusies kunnen worden gegeneraliseerd.
Bron: arXiv cs.AI: Rescaling Confidence: What Scale Design Reveals About LLM Metacognition (document van 12-09-2026). Deze bespreking is gebaseerd op de volledige tekst van het document, niet op verslagen van andere media.
More on this from HELDER
benchmarks·Agent AI slaagt één keer. Lukt het ook de tweede keer?IBM Research toont aan dat AI-agents veel minder betrouwbaar zijn dan benchmarks doen geloven. Een agent die gemiddeld 77% haalt, slaagt slechts 53% van de tijd.