Ai2 fixt taakplanning op duizenden H100-, B200- en B300-GPU’s

👁 118 keer gelezen

Het Allen Institute for AI (Ai2) publiceerde een gedetailleerde terugblik op de vernieuwing van het taakplanningssysteem op hun eigen GPU-clusters. Het verhaal laat treffend zien hoe een op papier goed ontworpen infrastructuur kan bezwijken onder de druk van intensief dagelijks gebruik.

Ai2 beheert duizenden NVIDIA H100-, B200- en B300-kaarten, verdeeld over clusters van 88 tot 1024 GPU’s. Zo’n 150 interne onderzoekers maken gebruik van deze infrastructuur voor uiteenlopende taken: van het trainen van grote taalmodellen (LLM‘s) en visuele taalmodellen (VLM’s) tot reinforcement learning-simulaties voor robotica en post-training voor wetenschappelijke agenttoepassingen. Die mix vereist zowel lange, ononderbroken trainingssessies als snelle toegang voor realtime debugging. Twee behoeften die zich maar moeilijk laten combineren met een simpel prioriteitensysteem.

De tragedie van de meent

De vraag naar GPU-tijd overtrof het aanbod al geruime tijd; dat probleem was niet nieuw. Op elk willekeurig moment wachtten in de wachtrij taken die samen 2 tot 3 keer zoveel kaarten vereisten als er beschikbaar waren. Met andere woorden: voor elk vrij rekenuur streden twee tot drie verschillende onderzoeksprojecten om dezelfde capaciteit.

Het oude systeem werkte op basis van prioriteiten en gaf taken de optie om preemption uit te schakelen - het mechanisme waarmee een taak gedwongen wordt onderbroken voor een belangrijkere taak. Elk team kreeg een limiet voor gelijktijdige GPU’s die beschermd waren tegen onderbreking; onderbreekbare taken mochten de overgebleven ongebruikte kaarten benutten. Op papier klonk dat logisch, maar in de praktijk leidde het tot voorspelbare ontsporingen.

Ten eerste ontstond er zogeheten ‘GPU squatting’: onderzoekers parkeerden lege taken (no-op workloads) waarop ze snel konden inloggen zodra ze code wilden debuggen. Ze deden dit omdat een nieuwe taak opstarten met acceptabel lage wachttijd simpelweg onmogelijk was. De tweede ontsporing was prioriteitsinflatie: op een gegeven moment stond 100% van de ingeplande taken op de hoogste prioriteit HIGH. Lagere prioriteiten kregen helemaal geen GPU-tijd meer. Ten derde, en operationeel gezien wellicht het duurst: technici van dienst waren het grootste deel van hun tijd kwijt aan het handmatig onderhandelen over het uitschakelen van niet-onderbreekbare taken op servers met hardwareproblemen.

Ai2 geeft toe dat ze de werkelijke oorzaak lange tijd niet zagen. Eerste pogingen om het op te lossen richtten zich op strengere controles op prioriteiten, en later op het omzeilen van de scheduler door specifieke clusters handmatig toe te wijzen aan bepaalde projecten als GPU-monopolie. Pas later herkende het team hierin de klassieke tragedie van de meent: een situatie waarin elke deelnemer, handelend uit puur eigenbelang, een gedeelde bron zodanig uitput dat iedereen er uiteindelijk onder lijdt.

De oplossing bleek het vervangen van de prioriteitenscheduler door een systeem op basis van drie pijlers: vooraf toegekende GPU-tijdbudgetten per project, een hiërarchische ‘fair-share allocation’ en zogeheten time-slicingcontracten - duidelijke afspraken over in welke tijdvakken een project recht heeft op rekenkracht. De belangrijkste verandering was echter niet technisch, maar organisatorisch: de discussie over hoeveel GPU-tijd een project verdient, verschoof van ad-hoc operationele onderhandelingen naar een transparant bestuurlijk budgetteringsproces.

Dit verschil is cruciaal voor iedereen die een gedeelde rekeninfrastructuur beheert. Het probleem bij Ai2 lag niet aan een verkeerd scheduling-algoritme, maar aan verkeerd ontworpen prikkels. Zolang een onderzoeker een GPU kan claimen zonder dat dit hem iets kost, zal hij dat doen. Als prioriteit gratis is, zet iedereen de schuif op maximaal. Het nieuwe systeem zorgt ervoor dat die keuzes direct zichtbare budgettaire gevolgen hebben binnen de hele organisatie - en dat stuurt gedrag effectiever bij dan welk preemption-algoritme dan ook.

// lees verderGTA 6 personages en map: Lucia, Jason en de staat LeonidaNieuwsGTA 6 Online: wanneer start de multiplayer en speel je direct samen?NieuwsGTA 6 op pc, PS4 en Xbox Series S: platforms en pc-releaseNieuws

Kinetyra