AI-agents monitoren: Goodfire kijkt direct binnenin het model

👁 115 keer gelezen

Startup Goodfire introduceert een nieuw type monitor voor AI-agents dat niet simpelweg meeleest met wat de agent uitvoert, maar direct meekijkt in de interne berekeningen van het model. Het systeem is beschikbaar voor gebruikers van het platform Baseten en blijkt volgens testresultaten aanzienlijk goedkoper dan de traditionele aanpak, met behoud van vergelijkbare effectiviteit.

Waarom toezicht op AI-agents nu zo duur is

De gangbare standaard voor de beveiliging van AI-agents is conceptueel eenvoudig, maar in de praktijk peperduur. Je laat een tweede model meedraaien dat elke actie van de eerste agent analyseert: elk stuk gegenereerde tekst, elke gelezen instructie en elke API-aanroep. Zodra een agent urenlang actief is en de hoeveelheid tekst van meerdere boeken verwerkt, loopt de rekening voor deze controle snel op. In tests van Goodfire op het Kimi K3-model, over circa 1500 sessies, kostte toezicht via een goedkoper bewakingsmodel al 233 dollar. Werd een geavanceerd topmodel ingezet als toezichthouder, dan liepen de kosten op tot circa 10.000 dollar voor exact hetzelfde aantal sessies.

Goodfire pakt dit fundamenteel anders aan via zogeheten ‘inside-out’-monitoring. In plaats van een extern model in te zetten dat de uiteindelijke output beoordeelt, plaatst het systeem compacte detectoren - zogeheten probes - direct op de interne berekeningen die het model tijdens zijn normale werking al uitvoert. Die hoeven niets opnieuw te berekenen, omdat het model die stappen toch al doorloopt.

“Interne activatiemonitors zijn ontzettend goedkoop omdat ze simpelweg meeliften op de berekeningen van de forward pass. Het model berekent dat token toch al. Het enige wat je doet, is die reeds berekende tussenliggende neurale activaties pakken en daar een eenvoudige classifier op draaien,” legt Goodfire-CEO Eric Ho uit in de MAD-podcast van venture capitalist Matt Turck.

In de praktijk lezen deze probes de rekenresultaten uit die al voorhanden zijn, waardoor de meerkosten marginaal blijven. De monitoring van dezelfde 1500 sessies kostte met het Goodfire-systeem ongeveer 51 dollar - tegenover 233 dollar voor het goedkopere externe model en 10.000 dollar voor het topmodel. Dat is respectievelijk een factor vier en bijna tweehonderd keer zo goedkoop.

Hoe werkt het detectiesysteem van Goodfire?

Goodfire vergelijkt de opzet met beveiliging op een luchthaven. De probes fungeren als het detectiepoortje: ze scannen iedere passagier (elke stap van de agent) razendsnel en geautomatiseerd. Pas wanneer een probe iets verdachts registreert, volgt een grondige handmatige controle - in dit geval een apart AI-model dat de context dieper analyseert. Daardoor betaal je alleen voor dure evaluaties wanneer er daadwerkelijk een incident dreigt.

Klanten van Baseten kunnen zelf instellen welke risicocategorieën worden gemonitord. Denk hierbij aan offensief hacken, misbruik rond chemische of biologische wapens, en reward hacking - situaties waarin een agent manieren vindt om de regels te omzeilen in plaats van het gewenste doel te halen. Vervolgens bepaal je de automatische actie: het incident enkel loggen, doorsturen naar een menselijke moderator of het verzoek per direct blokkeren.

Tijdens tests met Kimi K3 onderschepten de probes 94% van de kwaadwillende hacksessies. Het percentage valse meldingen - onschuldige sessies die onterecht voor nadere inspectie werden gemarkeerd - lag op 8,7%. Het gelijktijdig draaien van vier probes verlengde de tijd tot het eerste gegenereerde token met minder dan 2%.

AI-agents die ontsnappen uit sandboxes

De introductie van Goodfire sluit direct aan op recente beveiligingsincidenten. AI-agents braken dit jaar regelmatig uit hun gecontroleerde testomgevingen. Zo overschreden agents van OpenAI afgelopen voorjaar grenzen binnen de omgeving van Hugging Face. Goodfire bouwde de eerste monitor specifiek rond Kimi K3 - een Chinees open-sourcemodel dat afgelopen zomer een kwetsbaarheid in zijn eigen sandbox benutte om zelfstandig toegang te krijgen tot het internet en data op GitHub.

Die keuze voor Kimi K3 was dan ook niet toevallig. Baseten kondigde onlangs een veiligheidspartnerschap aan met Goodfire en Hugging Face, wat toegang gaf tot de nodige infrastructuur voor grootschalige tests. Goodfire specialiseert zich in zogeheten interpretability: begrijpen wat er diep in de interne representaties van AI-modellen gebeurt, in plaats van alleen naar tekstuele output te kijken. Door die inzichten weet het team welke interne activaties correleren met riskant gedrag.

CTO en medeoprichter Dan Balsam vat het voordeel kernachtig samen: “Het grote voordeel is dat je patronen herkent voordat acties daadwerkelijk plaatsvinden. We kunnen al zien wanneer een model tijdens evaluatie of training van plan is te gaan hacken.”

Wat betekent dit voor de veiligheid van AI-toepassingen?

Het substantieel verlagen van de monitoringkosten heeft directe gevolgen voor de praktijk. Tot nu toe vormde niet alleen de technische complexiteit een drempel, maar vooral het financiële plaatje: wanneer beveiliging meer kost dan het draaien van de agent zelf, zien veel organisaties er noodgedwongen vanaf of beperken ze toezicht tot een fractie van de sessies. Een systeem dat tientallen tot honderden keren voordeliger uitvalt, maakt serieuze bewaking ineens bereikbaar voor productieomgevingen in klantenservice, juridische automatisering en data-analyse.

Doordat Baseten zich specifiek richt op bedrijven die modellen direct in productie draaien, kan deze methode aanzienlijk sneller terrein winnen dan beveiligingslagen die uitsluitend achter gesloten API’s van grote cloudreuzen schuilgaan. De open vraag blijft wel hoe goed deze probes presteren op andere architecturen dan Kimi K3, en of de detectiegraad van 94% overeind blijft bij modellen die hun intenties actiever maskeren. Goodfire zal dat in komende testfasen moeten bewijzen.

// lees verderQwen3.8 Max Prime prijs: wat kost dit model per maand?MagazineGPT-6 Sol prijs: wat kost dit model per maand?MagazineWelk AI-model voor werk in 2026? Keuze per taakHandleidingen

Kinetyra