Chatbot-hallucinatie bijna oorzaak militaire operatie VS
Amerikaanse gevechtsvliegtuigen waren al in de lucht toen bleek dat het inlichtingenrapport verzonnen was door een chatbot. We rekenden uit hoeveel fouten door één verificatiestap glippen.
👁 113 keer gelezen
Eerder dit jaar waren Amerikaanse gevechtsvliegtuigen al in de lucht toen bleek dat het inlichtingenrapport waarop een gewapende operatie tegen een Chinees schip was gebaseerd, verzonnen was door een chatbot. De operatie werd op het laatste moment afgeblazen. Het hele incident werd vrijdag beschreven door CNN, en het verslag van TechCrunch is de moeite waard om te lezen - niet als anekdote over de blunder van één analist, maar als beschrijving van een concrete procedurele storing met een eigen rekensom.
Volgens de beschrijving van de bron vroeg een analist van het Special Operations Command een chatbot om gegevens uit open bronnen te combineren met geclassificeerde signaalinlichtingen. Het model interpreteerde de ladingsmanifest van het schip verkeerd en concludeerde dat er componenten voor een kernwapenprogramma aan boord waren. Daarna gebruikte diezelfde analist het hulpmiddel een tweede keer - dit keer om de onjuiste conclusies te formatteren in een samenvatting die eruitzag als een officieel document. En juist die tweede stap is het gevaarlijkste in het hele verhaal, want de hallucinatie kreeg een verpakking die in commandokanalen gelezen wordt als een inlichtingenproduct.
Hoeveel foute rapporten door één controlestap glippen
We maakten een eenvoudige berekening die iedereen op papier kan herhalen. Laten we twee parameters aannemen. De eerste is het aandeel antwoorden met onjuiste beweringen bij taken die bestaan uit het samenvatten en combineren van documenten. In publieke rankings van hallucinaties bij het samenvatten van documenten komen de beste modellen onder de twee procent uit, maar de spreiding in het hele veld loopt van ongeveer één procent tot meer dan tien procent - het overzicht van Vectara laat dit het beste zien, en tests gebaseerd op kennisvragen, zoals SimpleQA, geven voor veel modellen tientallen procenten foute antwoorden op feitelijke vragen. De taak uit het beschreven incident - het plakken van openbare gegevens aan signaalgegevens en het trekken van een conclusie over lading - ligt dichter bij die tweede categorie dan bij het samenvatten van één pagina tekst. We namen conservatief vijf procent aan.
De tweede parameter is de effectiviteit van menselijke verificatie. Laten we aannemen dat een analist of zijn leidinggevende drie van de vier fouten oppikt, dus met een effectiviteit van 75 procent werkt. Dat is een royale aanname, want het gaat om een document dat er zelf professioneel uitziet en uit de eigen afdeling komt. Bij deze cijfers bevatten van duizend rapporten vijftig een fout, waarvan er door één controlestap twaalf en een half verder gaan. Twaalf foute rapporten op duizend - dat is één op tachtig. Pas het toevoegen van een tweede, onafhankelijke verificatiestap met dezelfde effectiviteit brengt dit resultaat terug naar drie op duizend, en een derde naar net onder één.
De conclusie uit deze berekening is brutaal eenvoudig: in een keten waarin van duizend analytische producten er een tiental verzonnen zijn, is een incident zoals dat van het voorjaar geen ongeluk, maar statistiek. De vraag is niet of het zal gebeuren, maar na hoeveel duizend vragen. Als in een bepaald commando modellen tienduizend analytische vragen per jaar afhandelen - een volledig realistische cijfer voor een hulpmiddel dat toegankelijk is via een browser - dan hebben we bij onze aannames honderdvijfentwintig foute producten per jaar die door de eerste controle glippen.
Kritieke context is niet alleen militair: rechtbanken en geneeskunde hebben al hun eigen rekeningen
De militaire laag is het meest spectaculair, maar niet de eerste. In de rechtspraak hebben we al gevallen geteld: een database bijgehouden door de Franse advocaat Damien Charlotin sinds 2023 heeft meer dan duizend uitspraken van over de hele wereld verzameld waarin de rechtbank vaststelde dat een gemachtigde zich beriep op niet-bestaande uitspraken of gefabriceerde citaten gegenereerd door een model - het register is openbaar en wordt bijgewerkt. Het bekendste geval betreft niet een advocaat, maar de reactie van de rechtbank: in de zaak Mata tegen Avianca in New York legde rechter P. Kevin Castel twee advocaten elk een boete op van vijfduizend dollar.
In de geneeskunde is de schaal anders, want daar wordt een fout niet opgevangen door de tegenpartij. Onderzoeken naar het samenvatten van documentatie en transcriptie van consultaties toonden aan dat hulpmiddelen gebaseerd op modellen hele zinnen toevoegen aan opnames die niemand heeft uitgesproken - een fenomeen beschreven onder meer bij analyses van Whisper, waar in een deel van de onderzochte transcripties volledig verzonnen fragmenten verschenen. Eén mechanisme, drie verschillende branches: het model genereert inhoud die klinkt als het product van een expert, en wordt behandeld als het product van een expert.
“Het is belangrijk dat soldaten de onzekerheid begrijpen die inherent is aan de aard van taalmodellen. Maar het is bijzonder kritiek bij alle beslissingen die kunnen leiden tot het gebruik van geweld - bij het aanwijzen van doelen, inlichtingenanalyse of operationele planning. Deze beslissingen hebben consequenties in termen van leven en dood” - Jake Steckler, onderzoeker bij GovAI en voormalig officier van het Amerikaanse leger, in een schriftelijk antwoord aan TechCrunch.
Steckler voegt daar iets aan toe dat gemakkelijk over het hoofd wordt gezien: volgens hem zou het incident een argument moeten zijn voor het toevoegen van waarborgen, niet voor het opgeven van hulpmiddelen. Het tempo van implementatie boven alles stellen zal leiden tot gebeurtenissen die het vertrouwen van soldaten in deze systemen ondermijnen, en dat zal uiteindelijk de implementatie zelf vertragen.
Google · Jouw bronnenHoger in Google - met één klikToevoegen aan voorkeursbronnen →Twee snelheden die elkaar uitsluiten
Het Pentagon spreekt openlijk over AI als een hulpmiddel om de aanvalsketen te versnellen, zodat commandanten op het juiste moment kunnen reageren. Het probleem is dat het dezelfde snelheid is die een hallucinatie door commandokanalen laat gaan voordat iemand naar de bron vraagt. Het naast elkaar zetten van deze twee doelen in één tabel laat zien dat dit geen twee aspecten van hetzelfde proces zijn, maar twee tegengestelde doelfuncties.
| Parameter | Doel: snelheid van beslissingen | Doel: weerstand tegen hallucinaties |
| Aantal verificatiestappen | Minimaal, bij voorkeur één | Minstens twee onafhankelijke |
| Formaat product | Kant-en-klare samenvatting voor beslissing | Ruwe data met bronvermelding |
| Rol van model | Synthese en conclusie | Zoeken, zonder redeneren |
| Effect bij 5 proc. fout | 12 foute rapporten op 1000 | 3 op 1000 |
De laatste rij van deze tabel is onze berekening van het begin van de tekst. Het verschil tussen twaalf en drie foute rapporten op duizend is de prijs die je betaalt voor een tweede controlestap - en het enige getal dat de moeite waard is om te laten zien aan de persoon die over de procedure beslist. Want in termen van tijd is die tweede stap een vertraging van een paar uur, en in termen van risico is het een vermindering van het aantal gebeurtenissen van het type “vliegtuigen al in de lucht” met driekwart.
Er is in dit verhaal geen enkel argument om taalmodellen uit de analyse te gooien. Er is echter een zeer sterk argument om ze te behandelen als een hulpmiddel met een bekend, meetbaar foutpercentage - zoals het leger elk ander sensorapparaat behandelt. Een radar heeft een bepaalde kans op valse detectie en niemand vuurt een raket af na één echo. Een taalmodel heeft ook zo’n coëfficiënt, alleen heeft niemand het in de instructies geschreven.
De praktische consequentie voor iedereen die met documenten werkt in een overheidsinstelling, het leger of een defensiebedrijf is er één en volgt uit wat de analist in het beschreven incident de tweede keer deed. Gebruik nooit een model om resultaten te formatteren die datzelfde model heeft gegenereerd. Als een chatbot inhoud heeft gemaakt, dan verwijdert zijn volgende taak - het geven van het uiterlijk van een officieel document - het laatste waarschuwingssignaal, namelijk de ruwe, chaotische output. Het scheiden van deze twee operaties tussen verschillende hulpmiddelen en verschillende personen kost niets en is de goedkoopste beveiliging die vandaag nog kan worden ingevoerd.
Feiten gecontroleerd 20 september 2026. Bronnen: TechCrunch over het incident, hallucinatieranking van Vectara, database van gerechtelijke uitspraken met verzonnen citaten, AI-strategie van de NAVO en principes voor verantwoord gebruik. Berekeningen eigen op basis van aannames vermeld in de tekst.
More on this from HELDER
benchmarks·Vijf valkuilen van SEO-tools die je vraag verkeerd beantwoordenKeyword-suggesties kappen de long tail af, Search Console mist pagina's zonder kliks, en een zoekwoord met 1.000 zoekopdrachten bleek over wielrennen te gaan.