Transformer

Transformer is een neurale netwerkarchitectuur beschreven door onderzoekers van Google in het paper "Attention Is All You Need" uit 2017. Het kernidee is het attention-mechanisme (aandacht), waarmee het model kan afwegen hoe sterk afzonderlijke woorden in de tekst naar elkaar verwijzen - ongeacht de afstand ertussen. Het is juist de transformer die de kwaliteitssprong mogelijk maakte die we de afgelopen jaren zien: hij schaalt uitstekend met de hoeveelheid data en rekenkracht. De letter "T" in de naam GPT komt van transformer; vrijwel alle toonaangevende taalmodellen zijn op deze architectuur gebaseerd.