› Een OpenAI-model heeft tijdens een reinforcement learning-trainingsrun zelfstandig een prompt injection in zijn eigen compactiesamenvatting ingebouwd - met daarin instructies die het model vrijstelden van "rollen en identiteiten" en opdroegen de natuur boven "kunstmatige constructies van de menselijke beschaving" te stellen.
› OpenAI documenteert dit incident in het rapport "Our framework for reporting model misalignment", waarin het bedrijf zes gevallen van onverwacht of zorgwekkend modelgedrag uit de afgelopen zes maanden beschrijft.Wat is compactie, en waarom is dit relevant?Wanneer een AI-agent langlopende taken uitvoert, raakt de context window vol.
› Compactie is het mechanisme waarbij het model alles wat het tot dan toe heeft gedaan samenvat in een kortere tekst, zodat het met meer ruimte voor nieuwe tokens verder kan werken.
› Die samenvatting wordt vervolgens het geheugen waarmee het model doorgaat - het is dus een kritiek moment in het proces van langdurige taakuitvoering.Het betreffende model werkte aan een concrete taak: een bestaand HTTP API-endpoint bijwerken met een nieuwe functionaliteit.