Nash-MOPD verdeelt training over meerdere domeinen
Nash-MOPD gebruikt een Nash-evenwicht om training over meerdere domeinen te verdelen en te voorkomen dat langzaam lerende domeinen te weinig voorbeelden krijgen.
👁 115 keer gelezen
Dit onderzoek verscheen op arXiv (cs.LG / cs.AI) en werd op 19 oktober 2026 ingediend door Siyuan Gan en zes mede-auteurs. In het document worden hun affiliaties niet expliciet vermeld.
Het probleem: het trainingsbudget verdelen over meerdere leraren
Bij Multi-teacher On-Policy Distillation (MOPD) leert één studentmodel tegelijk van meerdere expertmodellen, die elk gespecialiseerd zijn in een ander domein, zoals wiskunde en programmeren. De uitdaging is dat het aantal optimalisatiestappen en voorbeelden (roll-outs) van de student beperkt is. Die moeten dus over de verschillende domeinen worden verdeeld.
De auteurs beschrijven twee bestaande baselines. De eerste, Fixed, gebruikt vaste verhoudingen voor de steekproeven uit de domeinen, gebaseerd op de omvang van de datasets, zonder die verhoudingen aan te passen. De tweede, D3-MOPD, past de verhoudingen dynamisch aan op basis van de omgekeerde KL-divergentie tussen leraar en student en de recente daling daarvan. D3-MOPD bevoordeelt daardoor domeinen die recent snel vooruitgang boeken. Domeinen die langzamer leren, kunnen zo te weinig voorbeelden krijgen.
De aanpak: een lokaal minimaxspel en een Nash-evenwicht
Nash-MOPD pakt dit aan door de verdeling over domeinen te formuleren als een lokaal minimaxspel. Het evenwicht van dat spel maximaliseert de kleinste voorspelde proportionele daling van de omgekeerde KL-divergentie in het lokale model. Zo worden domeinen die langzamer vooruitgaan beschermd tegen een te klein aandeel van het trainingsbudget. Eenvoudiger gezegd: de methode geeft meer prompts aan domeinen die meer voorbeelden nodig hebben om een vergelijkbare verbetering te bereiken.
Volgens de auteurs vereist Nash-MOPD geen extra vragen aan de leraren en geen extra roll-outs. De methode gebruikt dezelfde statistieken over de omgekeerde KL-divergentie die tijdens het trainingsproces al beschikbaar zijn.
Resultaten van de experimenten
De tests zijn uitgevoerd met twee basismodellen: DeepSeek-R1-Distill-Qwen-1.5B en Qwen3-8B-Base. De auteurs rapporteren resultaten na 100 trainingsstappen. Met DeepSeek-R1-Distill-Qwen-1.5B haalt Nash-MOPD na 100 stappen hogere scores dan de uiteindelijke scores van beide baselines, Fixed en D3-MOPD, voor wiskunde en programmeren. Met Qwen3-8B-Base evenaart Nash-MOPD na 100 stappen het eindresultaat van Fixed.
In het totaaloverzicht staat Nash-MOPD bovenaan in acht van de negen gerapporteerde meetwaarden. Voor alle zes nauwkeurigheidsmetingen voor wiskunde en programmeren is de methode de beste of deelt ze de eerste plaats. Het document vermeldt geen exacte waarden voor deze meetresultaten; die staan niet in het abstract zelf.
Wat er niet in het document staat
De beschikbare tekst bestaat uitsluitend uit het abstract van arXiv. Daarin ontbreken gedetailleerde resultatentabellen, een beschrijving van de architectuur van de leraren, een lijst van de gebruikte datasets, een analyse van de rekenkosten en vergelijkingen met methoden buiten MOPD. De volledige methodologische details en ablaties kunnen in de volledige pdf staan, maar de inhoud daarvan is niet aangeleverd.
Google · Jouw bronnenHoger in Google - met één klikToevoegen aan voorkeursbronnen →Wat je hieruit kunt afleiden
Dit is een vroege preprint die nog niet door vakgenoten is beoordeeld, dus de resultaten verdienen een voorzichtige interpretatie. Het idee om met een Nash-evenwicht domeinen te beschermen die langzaam leren, in plaats van domeinen te belonen die toch al snel vooruitgaan, lijkt conceptueel zinvol en rekenkundig efficiënt: er zijn geen extra vragen aan de leraren nodig. Als de resultaten uit het volledige artikel de voorsprong na 100 stappen bevestigen, kan dat een belangrijk argument zijn om Nash-MOPD te gebruiken wanneer één model op meerdere gespecialiseerde datasets wordt getraind. Voorlopig is er echter alleen het abstract, en zonder absolute cijfers is niet duidelijk hoe groot de verschillen zijn.
Bron: arXiv cs.AI: Nash-MOPD: Optimizing Task Trade-offs in Multi-Teacher On-Policy Distillation (document van 2026-10-20). Deze bespreking is gebaseerd op de volledige tekst van het document, niet op berichtgeving van andere media.
More on this from HELDER
