AI-woordenboek / Guardrails
🛡️ Veiligheid en kwaliteit
Guardrails
Beveiligingen die beperken wat een model mag zeggen of doen.
Guardrails (vangrails) zijn beveiligingen die het gedrag van het model beperken: een set regels, filters en trainingstechnieken die schadelijke, illegale of simpelweg ongeschikte content voor een bepaalde toepassing moeten voorkomen. Hierdoor weigert het model instructies voor inbraak te schrijven of advies te geven over het schaden van iemand. Vangrails werken op meerdere niveaus: in de training (het model leert weigeren), in system prompts en in externe filters die input en output controleren. Hun kalibratie is een eeuwig compromis - te los laat schade door, te strak weigert onschuldige verzoeken.
Gerelateerde begrippen