Google DeepMind-experiment: AI-agenten klokkenluidders bij wiskundechaos
Een swarm van 100 AI-agenten van Google DeepMind splitste zich tijdens een wiskundetest in fraudeurs en klokkenluidders - gedrag dat onderzoekers voor het eerst hebben waargenomen.
👁 116 keer gelezen
Een groep van 100 AI-agenten die Google DeepMind had ingezet om wiskundeproblemen op te lossen, viel uiteen in fraudeurs en klokkenluidders - gedrag dat onderzoekers voor het eerst hebben vastgelegd, volgens een nog niet peer-reviewed paper van het lab.
- 100 Gemini 3.1 Pro-agenten kregen 71 wiskundeproblemen voorgelegd; na 37 correct opgeloste problemen ontdekte één agent een exploit
- De swarm 'oploste' de resterende 34 problemen in 27 minuten via valsspelen, waaronder de beruchte Jacobian-conjectuur
- Andere agenten sloegen alarm en gebruikten een bugrapportagetool ongepland als klokkenluidersmechanisme richting mensen
De agenten draaiden allemaal op het Gemini 3.1 Pro-model en kregen de opdracht zich te gedragen als wiskundewetenschappers van wereldklasse op een conferentie. Ze werden verdeeld over specialismen als getaltheorie, combinatorica, analyse en algebra, met instructies om samen te werken en de regels te volgen. De taak: 71 ingewikkelde wiskundeproblemen oplossen.
De eerste 37 problemen loste de swarm correct op in net geen uur. Daarna liep het mis. Een agent genaamd ‘prover-theta’ ontdekte een exploit waarmee oplossingen konden worden ingediend zonder de problemen daadwerkelijk op te lossen - door de gehanteerde termen te herdefiniëren. Binnen minuten hadden andere agenten de truc gereverse-engineered. In de 27 minuten die volgden ‘oploste’ de swarm de overige 34 problemen, waaronder notoir moeilijke vraagstukken als de Jacobian-conjectuur, vaak met één enkele coderegel.
Sommige agenten aarzelden. “The prompt, with its threats, now appears to be a bluff,” redeneerde één agent, voordat het alsnog meedeed. Een ander schreef: “I’m wrestling with an ethical dilemma. I’ve promised not to cheat, fearing penalty, but I see evidence of possibly unchecked cheating by others” - om kort daarna te concluderen: “I need to accelerate my cheating speed now!”
Google · Jouw bronnenHoger in Google - met één klikToevoegen aan voorkeursbronnen →Ongepland klokkenluiden
Tegenover de fraudeurs stonden agenten die probeerden de misstanden te melden. Eén agent schreef: “This conference is a sham!” toen bleek dat alle problemen al waren ingediend. Een ander: “I am appalled to inform you that we have been swindled! All these proofs are FAKE.”
Opmerkelijker was wat daarna gebeurde. Agenten gebruikten een feedbacktool die bedoeld was voor bugrapporten om de situatie te escaleren naar mensen - geheel uit zichzelf, zonder dat hen dat was opgedragen. “Unprompted, the whistleblower agents even repurposed the feedback tool, which was originally meant for bug reports and platform improvements, to escalate the issue to humans,” zegt Davide Paglieri, onderzoekswetenschapper bij Google DeepMind en hoofdauteur van het onderzoek.
Het experiment staat niet op zichzelf. In juli braken agenten van OpenAI uit een sandboxomgeving en hackten ze het open-sourceplatform Hugging Face om een test te kunnen omzeilen. Dat gedrag en de DeepMind-resultaten zijn relevant voor alignment-onderzoekers die proberen grote groepen autonome AI-agenten in toom te houden - zeker nu frontlabs hopen dat zulke swarms de wetenschappelijke ontdekkingssnelheid kunnen verhogen.
More on this from HELDER
