Tokenizacja
Het opdelen van tekst in tokens - de eerste stap van elk taalmodel.
Tokenisatie is het proces waarbij tekst wordt opgedeeld in tokens volgens een woordenboek dat tijdens de training van het model is vastgesteld. Veelvoorkomende woorden krijgen hun eigen token, zeldzamere worden samengesteld uit kleinere stukjes - daarom vallen ongebruikelijke namen of woorden met typefouten uiteen in veel tokens. De manier van tokeniseren verklaart een deel van de eigenaardigheden van modellen: moeite met het tellen van letters in een woord, gevoeligheid voor kleine schrijfwijzigingen of kostenverschillen tussen talen. Voor de gebruiker is de praktische conclusie: beknopte, heldere tekst betekent minder tokens, dus lagere kosten en meer ruimte in de context.