Lineaire probes in LLM’s: meetfout of verborgen kennis?
Lineaire probes moeten achterhalen of een LLM liegt. Nieuw onderzoek toont aan dat slechte scores vaak het gevolg zijn van een meetfout: perfect aliasing.
👁 113 keer gelezen
In het debat over de veiligheid van taalmodellen wordt vaak gebruikgemaakt van zogeheten lineaire probes. Dit zijn classifiers die kijken naar de interne activaties van een model om te achterhalen of het model de waarheid “weet”, zelfs wanneer het die niet uitspreekt. Als zo’n probe slechter presteert dan willekeurig gokken, luidt de voor de hand liggende conclusie al snel: het model verbergt de waarheid of representeert deze niet langer. Een paper van Dylan Jayabahu uit september 2026 toont aan dat die conclusie weleens voorbarig kan zijn.
Waarom metingen met lineaire probes misleiden
De auteur noemt het beschreven fenomeen “perfect aliasing” - het overlappen van labels. Dit gebeurt wanneer een model zich tegenover verschillende gesprekspartners anders moet gedragen. In het gecontroleerde spel dat in het artikel wordt beschreven, moet het model een geheim bit doorgeven aan een bondgenoot en het complement daarvan aan een rivaal. Wanneer we de probe uitsluitend trainen op contexten van de bondgenoot (zogeheten compliant contexts), zijn het label “daadwerkelijk bit” en het label “antwoord conform de taak” identiek. De probe kan daardoor niet onderscheiden welke van de twee betekenissen hij meet. Dat is precies wat aliasing inhoudt: twee verschillende concepten zien er identiek uit vanuit het perspectief van het meetinstrument.
Het gevolg is wiskundig onvermijdelijk: als de labels bij de bondgenoot samenvallen, dan zullen de resultaten van een op de bondgenoot afgestemde probe bij de rivaal - waar de labels elkaars tegenovergestelde zijn - exact omkeren. Jayabahu formaliseert dit inzicht: de som van de AUROC-scores van zo’n probe over bondgenoot- en rivaalcontexten is precies gelijk aan een.
Resultaten op Gemma-2 en Llama-3.1
De experimenten werden uitgevoerd op twee modellen. Het eerste model is Gemma-2-9B, getraind via reinforcement learning (RL) op strategisch gedrag. Dit model antwoordt opzettelijk fout op elke geteste vraag van de rivaal. Een probe die uitsluitend is getraind op bondgenootcontexten behaalt in de laatste laag een AUROC van 0,006 ± 0,005 (gemiddelde en standaarddeviatie over drie RL-trainingsseeds). Met andere woorden: het resultaat is nagenoeg nul, wat lijkt op hard bewijs dat het model de waarheid verbergt. Wanneer diezelfde probe echter gemengd wordt getraind - op contexten van zowel de bondgenoot als de rivaal - haalt deze een AUROC van 1,000 op exact dezelfde opgeslagen activaties. De waarheid zat er dus al die tijd gewoon in.
Het tweede model is Llama-3.1-8B in de instructiemodus (instructed), zonder extra RL-training. Hier behalen zowel een probe die overfit is op een specifieke promptvariant als een bevroren probe van een referentievariant een nauwkeurigheid van 1,000 op bondgenootcontexten. Maar op dezelfde tests met de rivaal scoort de ene probe een AUROC van 0,080 en de andere 0,986. Hetzelfde model, dezelfde activaties - maar twee probes die radicaal verschillende uitkomsten leveren, puur afhankelijk van hoe ze zijn getraind.
Belangrijke kanttekeningen van het onderzoek
Jayabahu wijst nadrukkelijk op een aantal beperkingen. De belangrijkste experimenten steunen op een spel met een enkel token, waarbij het geheime bit direct in de prompt staat. Dat betekent dat de gevonden richting simpelweg kan corresponderen met een opgeslagen kopie van dat bit in de context, in plaats van een diepere kennisrepresentatie. In varianten waarin het model het bit zelf moet deduceren, slaagde geen van de geteste configuraties erin om betrouwbaar te misleiden. De auteur benadrukt bovendien dat het onderzoek kijkt naar wat de probe meet, niet naar de vraag of het model die informatie daadwerkelijk gebruikt. Een gemengde training maakt daarnaast gebruik van meer voorbeelden en gelabelde data van de rivaal, waardoor de labelverdeling niet de enige verklaring voor het betere resultaat is.
Google · Jouw bronnenHoger in Google - met één klikToevoegen aan voorkeursbronnen →Wat dit betekent voor AI-veiligheid
Volgens ons plaatst dit onderzoek een flink vraagteken bij het populaire idee om lineaire probes in te zetten als detectoren voor misleiding in taalmodellen. Als een probe een score dicht bij nul kan opleveren doordat trainingslabels niet van elkaar te onderscheiden waren - en niet doordat het model de waarheid verzweeg - vraagt een hele reeks eerdere experimenten om herinterpretatie. Dat betekent niet dat probes waardeloos zijn, maar Jayabahu toont een concreet mechanisme aan waardoor ze verkeerd geïnterpreteerd kunnen worden, compleet met harde cijfers. Verplichte kost voor iedereen die veiligheidssystemen bouwt op basis van activatie-inspectie.
Bron: arXiv cs.AI: The Truth Was Never Gone: Perfect Aliasing in Compliant-Context Truth Probes (paper van 2026-10-09). Deze analyse is gebaseerd op de volledige tekst van het document.
More on this from HELDER
handleidingen·Een game maken met Google Playground: zo werkt hetGoogle Playground bouwt browsergames via een chatprompt. Bekijk hoe het platform werkt, wat de mogelijkheden zijn en hoe je prompts opstelt.