AI-woordenboek / MoE (Mixture of Experts)
🏗️ Modellen en training
MoE (Mixture of Experts)
Architectuur waarin het model veel 'experts' heeft, maar voor elke taak slechts een deel ervan activeert.
Mixture of Experts is een architectuur waarin het model bestaat uit veel gespecialiseerde subnetwerken ('experts'), maar bij elke vraag slechts enkele activeert. Hierdoor kan het model een enorm totaal aantal parameters hebben, maar toch snel en goedkoop werken - omdat er maar een fractie tegelijk actief is. MoE ligt ten grondslag aan veel toonaangevende modellen van de laatste jaren, vooral open modellen. Voor de gebruiker is het een technisch detail, maar het verklaart de schijnbare paradox: hoe modellen met honderden miljarden parameters razendsnel kunnen antwoorden.
Gerelateerde begrippen