AI-woordenboek / Latency (vertraging)
⚙️ Technika
Latency (vertraging)
De tijd vanaf het versturen van de vraag tot het eerste woord van het antwoord.
Latency is de vertraging tussen het versturen van een vraag en de reactie van het model - in de praktijk meet je meestal de tijd tot het eerste token van het antwoord. Voor vloeiende spraakgesprekken of code-aanvulling tellen fracties van seconden; bij het genereren van een rapport is latency minder belangrijk. Latency hangt af van de grootte van het model, serverbelasting, lengte van de prompt en de werkmodus (redenerende modellen "denken" merkbaar langer). App-ontwikkelaars jongleren vaak met modellen: een snelle voor directe reacties, een krachtige voor taken waarbij de gebruiker kan wachten.
Gerelateerde begrippen