COPEX: hoe kwetsbaar zijn taalmodellen in MCP-systemen?
COPEX test hoe vaak aanvallen slagen op taalmodellen die als MCP-client werken, en maakt onderscheid tussen modelkwetsbaarheid en systeemrisico.
👁 116 keer gelezen
Dit artikel is gebaseerd op een arXiv-paper die is geaccepteerd als poster voor de NeurIPS 2026 Workshop on Agents in the Wild. De paper heeft zes auteurs: Nahom Birhan, Mehrdad Rostamzadeh, Sidhant Narula, Mahmoud Nazzal, Mohammad Ghasemigol en Daniel Takabi.
Wat is MCP en waar zit het probleem?
Model Context Protocol (MCP) is een standaard waarmee taalmodellen externe tools kunnen gebruiken: functies aanroepen, gegevens ophalen en communiceren met servers. In zo’n systeem werkt het model als MCP-client. Het krijgt instructies van de gebruiker, schema’s van beschikbare tools, resultaten van uitgevoerde acties en protocolberichten. Elk van die kanalen kan een ingang zijn voor pogingen om het model ongewenst te beïnvloeden.
De auteurs wijzen op een methodologisch probleem: eerdere veiligheidstests voor AI-agenten beoordelen het volledige systeem, niet het model afzonderlijk. Daardoor is moeilijk vast te stellen of een model kwetsbaar is voor een aanval, of dat juist de omliggende infrastructuur - zoals beveiligingsmechanismen, orkestratie en algemene taakvaardigheden - het model beschermt of blootstelt. COPEX moet dat probleem aanpakken.
Wat is COPEX en hoe werkt de benchmark?
COPEX (COntext Provider EXploitation) is een benchmark die is ontworpen om het model als MCP-client afzonderlijk te testen. De rest van de agentstack blijft gelijk; alleen het geteste model verandert. Zo hebben de resultaten betrekking op de kwetsbaarheid van een specifiek model, en niet op die van het hele systeem.
De benchmark omvat 25 aanvalstypen, uitgewerkt in 125 scenario’s. De aanvallen zijn ingedeeld naar vier aanvalsoppervlakken:
- model en agent,
- client,
- server en tool,
- transport.
De tests zijn uitgevoerd op negen modellen, met in totaal 3375 pogingen.
COPEX-resultaten in cijfers
Het gemiddelde succespercentage van de aanvallen was 64,4%. Per aanvalsoppervlak varieerde het gemiddelde van 58,3% tot 71,4%. De auteurs merken op dat sommige aanvallen op client- en transportniveau gedeeltelijk buiten de waarneming of controle van het model slagen. Daarom moet je de kwetsbaarheid van het model onderscheiden van de blootstelling van het complete systeem.
Ook de effectiviteit van verdediging is onderzocht. Een combinatie van invoer- en contextscans verlaagde het gemiddelde succespercentage van aanvallen met 49,6%. Dit resultaat geldt echter alleen voor een deelverzameling van acht aanvallen en is vergeleken met een variant zonder beveiligingsmaatregelen. Het document geeft geen details over de werking van deze verdediging of over de specifieke aanvallen in de geteste deelverzameling.
Wat ontbreekt in het document?
In het abstract staan de namen van de negen geteste modellen niet. Daardoor is niet duidelijk welke systemen precies zijn beoordeeld en hoe groot de verschillen tussen die modellen waren. Ook ontbreken details over de 25 aanvalstypen en de scanmethode die als verdediging is gebruikt. De benchmark is openbaar beschikbaar via het adres dat in de paper wordt genoemd, maar de inhoud ervan valt buiten de tekst waarop dit artikel is gebaseerd.
Google · Jouw bronnenHoger in Google - met één klikToevoegen aan voorkeursbronnen →Wat betekenen de resultaten?
Een aanvalssucces van 64,4% zonder beveiligingsmaatregelen is moeilijk te negeren. Het betekent dat een gemiddeld model dat als MCP-client werkt in de meeste pogingen kwetsbaar is voor manipulatie. Ook het onderscheid dat de auteurs maken is belangrijk: sommige aanvallen slagen niet doordat het model zwak is, maar doordat ze buiten zijn bereik vallen. Dat vraagt om een andere kijk op de verantwoordelijkheid voor de beveiliging van zulke systemen. Het model kan niet de enige verdedigingslinie zijn. De benchmark biedt een manier om modellen nauwkeuriger met elkaar te vergelijken, maar zonder de lijst met geteste modellen is lastig te beoordelen hoe goed de resultaten in de praktijk onderscheid maken.
Bron: arXiv cs.AI: COPEX: Benchmarking LLM Robustness to Adversarial Context Across Model Context Protocol (MCP) Layers (document van 2026-10-20). Dit artikel is gebaseerd op de volledige tekst van het document, niet op berichtgeving van andere media.
More on this from HELDER
