Wat is RAG en waarom koppel je een model aan een kennisbank?

RAG (retrieval-augmented generation) betekent dat het model eerst relevante passages in je eigen documenten opzoekt en pas daarna het antwoord schrijft, met die passages als bron. In plaats van alleen te vertrouwen op wat het tijdens de training heeft opgeslagen, krijgt het actueel en concreet materiaal in de prompt.

Een gangbare opzet heeft drie stappen:

• de documenten worden in stukken geknipt en geïndexeerd, meestal als vectoren (embeddings);
• bij elke vraag haalt een zoeksysteem de paar stukken op die het beste passen;
• het model antwoordt op basis van die stukken en kan ze citeren.

Waarom koppel je een model aan een kennisbank? Trainingsdata hebben een einddatum en bevatten je interne bestanden, prijslijsten of handleidingen niet. Met RAG werk je de kennisbank bij, niet het model, en kan elk antwoord naar zijn bron verwijzen, zodat fouten sneller opvallen. De methode werd in 2020 beschreven door Patrick Lewis en collega's (Facebook AI Research, UCL, NYU). RAG verkleint de kans op verzonnen antwoorden, maar neemt die niet weg: haalt de zoekstap de verkeerde passage op, dan klopt ook het antwoord niet.