AI-woordenboek / LoRA
🏗️ Modellen en training
LoRA
Lichte methode om een model te fine-tunen - een kleine 'adapter' in plaats van het hele model opnieuw trainen.
LoRA (Low-Rank Adaptation) is een zuinige fine-tuning-techniek: in plaats van miljarden parameters van het model aan te passen, train je een kleine 'adapter' die het gedrag verandert. Het resultaat weegt megabytes in plaats van gigabytes en je traint het op een enkele grafische kaart. LoRA sloeg vooral aan bij beeldgeneratie - de community maakt duizenden adapters die het model een specifieke stijl, personage of product leren. Bij taalmodellen is het een populaire manier om een open model goedkoop aan je eigen behoeften aan te passen.
Gerelateerde begrippen