PIDS-Bench: hoe zwak prompt injection detectoren echt zijn

👁 118 keer gelezen

Auteurs Yusuf Khalid Shire en Sang-Chul Kim publiceerden in IEEE Access (vol. 14, pp. 134184-134205, 2026) een benchmark genaamd PIDS-Bench, die prompt injection detectoren evalueert onder veel moeilijkere omstandigheden dan standaard wordt toegepast. Het artikel telt 21 pagina’s en bevat 3 figuren en 18 tabellen.

Het probleem met de huidige aanpak

Prompt injection detectoren worden meestal geëvalueerd met één maatstaf - een geaggregeerde F1-score op testdata uit dezelfde distributie als de trainingsdata. De auteurs wijzen erop dat deze aanpak een belangrijk probleem verbergt: wat gebeurt er met onschuldige queries die de detector ten onrechte als aanvallen classificeert? Valse alarmen (false positives) hebben directe operationele kosten, maar worden zelden gemeten. De PIDS-Bench benchmark is gedefinieerd als “frozen” (bevroren), wat betekent dat de inhoud niet verandert - hierdoor kunnen verschillende systemen op identieke data worden vergeleken.

Wat PIDS-Bench meet

De benchmark evalueert detectoren langs meerdere assen tegelijk, met vaste beslissingsdrempels. De dataset omvat vier categorieën inputs: data uit een distributie die overeenkomt met de training, zogenaamde “hard-benign prompts” (queries die de structuur van een aanval nabootsen maar geen kwaadaardige intentie hebben), verduisterde aanvallen (obfuscated attacks) en data met domein- en structurele distributieverschuivingen. Zeven detectoren werden geëvalueerd: getrainde basismodellen, externe prompt injection classifiers en bredere veiligheidsclassifiers, met een eenvoudige regelgebaseerde detector als referentiepunt.

Belangrijkste resultaten

Het kernresultaat is als volgt: een detector die een F1-score boven 0,98 haalt op een interne testset classificeert nog steeds ongeveer een derde van een externe subset van onschuldige queries verkeerd. Deze externe subset komt uit publieke datasets en is beperkt tot beveiligingsgerelateerde content. De auteurs testten het volledige bereik van beslissingsdrempels met vijf verschillende initialisaties (training seeds) - geen enkele interne detector behaalde tegelijkertijd F1 >= 0,95 en een false positive rate op hard-benign FPR <= 0,10 op deze moeilijke distributie.

Herkomst van data maakt uit

De auteurs ontdekten een patroon dat ze “provenance-sensitive over-defense” noemden - overmatige verdediging die gevoelig is voor de herkomst van data. Het toevoegen van moeilijke negatieve voorbeelden aan de training (hard-negative augmentation) elimineert het probleem van overmatige blokkering op zorgvuldig voorbereide testvoorbeelden bijna volledig, maar lost het niet op voor data uit externe bronnen. Dit patroon verschijnt in beide geteste architecturen van fine-tuned modellen en verzwakt niet met een grotere augmentatiepool - de FPR op externe data blijft ver boven het doel van 0,10. De auteurs benadrukken expliciet dat niet is getest of augmentatie afgestemd op de distributie van externe data deze kloof zou dichten. Alleen drempelkalibratie en augmentatie in de stijl van gecureerde data zijn niet voldoende.

Wat dit betekent

Naar mijn mening toont dit werk een concreet praktisch probleem: als je een prompt injection detector implementeert en alleen op je eigen testdata evalueert, kun je een vals gevoel van veiligheid hebben. Een F1-score dicht bij 1,0 beschermt niet tegen het blokkeren van elke derde normale gebruikersquery wanneer het systeem content uit een ander domein tegenkomt. De benchmark is bevroren en publiek beschikbaar, wat betekent dat makers van nieuwe detectoren het als gemeenschappelijk referentiepunt kunnen gebruiken - dat is waardevol, want tot nu toe mat iedereen zijn systeem anders. Tegelijkertijd geven de auteurs zelf toe dat ze de meest voor de hand liggende oplossing niet hebben getest: augmentatie afgestemd op de distributie van externe data, dus het is onbekend of het probleem überhaupt via die weg oplosbaar is.

Bron: arXiv cs.AI: PIDS-Bench: Evaluating Prompt-Injection Detectors Under Over-Defense, Obfuscation, and Distribution Shift (document van 15-09-2026). Deze bespreking is gebaseerd op de volledige tekst van het document, niet op berichtgeving van andere media.

// lees verderZaak Thélyson Orélien: ik testte de roman met drie AI-detectors. Dezelfde alinea: 100%, 85% en 0%MagazineYouTube thumbnails met AI: leesbaarheidstest op 320 pixelsBenchmarksImagen 3 vs Imagen 3 Fast vs DALL-E 3: test op 6 opdrachtenBenchmarks

Kinetyra