Streaming

Streaming is de modus waarin het model het antwoord live verstuurt, token voor token, in plaats van te wachten tot de hele generatie klaar is. Daardoor "typen" chats op je scherm alsof er iemand aan het toetsenbord zit. Naast het visuele effect heeft streaming praktische waarde: je begint meteen met lezen, dus de ervaren latency daalt, en lange antwoorden kun je halverwege afbreken, wat tijd en kosten bespaart. In API's is dit een standaardoptie bij het bouwen van je eigen applicaties.