AI-woordenboek / Destylacja
🏗️ Modellen en training
Destylacja
Een klein model trainen op antwoorden van een groot model - de 'leerling' neemt vaardigheden over van de 'leraar'.
Kennisdestillatie is een techniek waarbij een klein model (de 'leerling') leert de antwoorden van een groot model (de 'leraar') na te bootsen. In plaats van de kleintje vanaf nul te trainen op ruwe data, voed je hem met outputs van de reus - waardoor hij een groot deel van diens vaardigheden overneemt bij een fractie van de omvang. Het is de standaardmanier om snelle en goedkope modellen te maken voor massatoepassingen. Het roept ook controverse op wanneer iemand andermans gesloten model destilleert via de API - de voorwaarden van de meeste aanbieders verbieden dit expliciet.
Gerelateerde begrippen