AI-woordenboek / Token
⚙️ Technika
Token
Een stukje tekst (deel van een woord) waarmee het model werkt. Limieten en prijzen worden berekend in tokens.
Een token is de basiseenheid waarmee een taalmodel werkt - een stukje tekst, meestal korter dan een woord. In het Engels is één woord gemiddeld iets meer dan één token; Nederlands kan door vervoegingen en speciale tekens 'duurder' zijn en dezelfde zin kan meer tokens kosten. Tokens zijn de valuta van de AI-wereld: hierin wordt het contextvenster gemeten, gebruikslimieten en API-prijzen (kosten per miljoen input- en outputtokens). Als een tool zegt dat de tekst te lang is, gaat het om het aantal tokens, niet om tekens.
Gerelateerde begrippen