AI-woordenboek / Inference
⚙️ Technika
Inference
Het moment waarop het model een antwoord genereert op jouw vraag (in tegenstelling tot training).
Inference (inferentie) is de fase waarin het getrainde model wordt gebruikt: het krijgt jouw vraag en genereert een antwoord, token voor token. Dit onderscheidt het dagelijkse werk van het model van de training, die eenmalig, eerder, op enorme datasets plaatsvond. De kosten van AI-diensten zijn vooral inference-kosten - daarom optimaliseren aanbieders deze met kwantisatie, betere hardware en architecturen zoals MoE. Als een chat 'live' een antwoord schrijft, zie je inference in real-time, meestal in streaming-variant.
Gerelateerde begrippen