Okno kontekstu

Het contextvenster is de maximale hoeveelheid tekst (gemeten in tokens) die het model 'ziet' tegelijk: jouw prompt, ingevoegde materialen, het gesprek tot nu toe en zijn eigen antwoord. Wat er niet in past, kent het model simpelweg niet - vandaar het 'vergeten' van het begin van lange gesprekken. Moderne vensters bereiken honderdduizenden, en bij sommige modellen zelfs een miljoen tokens, waardoor je een heel boek of code-repository kunt invoeren. In de praktijk is de kwaliteit van het werk van het model echter ongelijk bij zeer lange contexten - cruciale informatie plaats je beter aan het begin of einde van het materiaal.