ACE-Step 1.5 lokaal: song generator getest op RTX 4090
ACE-Step 1.5 genereert lokaal complete nummers met zang onder een vrije MIT-licentie. Ik testte het model in ComfyUI op een RTX 4090 en vergeleek de prestaties direct met YuE2, MiniMax Music 3 en DiffRhythm 2.
👁 118 keer gelezen
ACE-Step 1.5 is een opensource muziekinstrument dat op je eigen videokaart complete nummers inclusief zang produceert onder de MIT-licentie. Als veelzijdige lokale AI-muziekgenerator zet het model stijlbeschrijvingen en songteksten om in kant-en-klare stereotracks. Op 17 oktober 2026 heb ik de turbo-versie van ACE-Step 1.5 uitgebreid getest op mijn RTX 4090 in ComfyUI, inclusief een directe vergelijking met YuE2, MiniMax Music 3 en DiffRhythm 2.
Status op 17 oktober 2026
- ACE-Step 1.5 (ACE Studio en StepFun, gewichten sinds januari 2026, MIT-licentie): 2B-diffusiemodel in turbo-, base- en SFT-versies, sinds 2 april 2026 ook beschikbaar als XL (4B).
- Planner (taalmodel op basis van Qwen3) beschikbaar in drie formaten: 0.6B, 1.7B en 4B.
- Geïntegreerd in ComfyUI: kant-en-klaar sjabloon in het menu Templates met bestanden via de Comfy-Org opslagplaats.
- Mijn testmeting: 17 oktober 2026, RTX 4090, ComfyUI 0.41, ACE-Step 1.5 turbo met 1.7B planner, geëvalueerd met Whisper large-v3.
Wat is ACE-Step 1.5?
ACE-Step transformeert een stijlbeschrijving en uitgeschreven songtekst naar een volwaardige stereo-audio-opname met zang. Versie 1.5 bestaat uit twee afzonderlijke componenten: een compact taalmodel (de planner op basis van Qwen3) dat de compositie vertaalt naar audiocodes, en een 2B-diffusiemodel dat hieruit de uiteindelijke audiotrack genereert. Volgens de ontwikkelaars ondersteunt het model nummers variërend van korte loops tot tracks van 10 minuten, meer dan 50 talen voor songteksten, en kan het werken op videokaarten met minder dan 4 GB VRAM via offloading naar het werkgeheugen. Naast het genereren vanaf nul kan het model ook covers maken, delen van audio herstellen (repainting) en instrumentale begeleiding toevoegen aan een kale zanglijn.
Het grote voordeel van ACE-Step 1.5 ten opzichte van concurrenten is de MIT-licentie. Hiermee mag je de gegenereerde audio zonder restricties commercieel inzetten. Ter vergelijking: het concurrerende model YuE2 gebruikt een strikte CC BY-NC 4.0-licentie die commercieel gebruik verbiedt, terwijl MiniMax Music 3 een eigen gemeenschapslicentie hanteert met strikte voorwaarden voor bedrijven. Zoek je louter instrumentale achtergrondmuziek zonder zang, dan kun je ook kijken naar Stable Audio 3, dat gratis commercieel te gebruiken is tot 1 miljoen dollar jaaromzet.
ACE-Step in ComfyUI: stappenplan
Het model draait rechtstreeks binnen ComfyUI (vanaf versie 0.41). Je richt de workflow als volgt in:
- Installeer ComfyUI of werk je bestaande installatie bij naar versie 0.41 of nieuwer.
- Ga in het menu naar Templates, zoek naar “ACE-Step 1.5” en laad het sjabloon met gesplitste bestanden (split).
- Download de vier vereiste safetensors-bestanden via de Comfy-Org/ace_step_1.5_ComfyUI_files repository op Hugging Face: download
acestep_v1.5_turbo.safetensors(4,8 GB) naarmodels/diffusion_models, zetqwen_0.6b_ace15.safetensors(1,2 GB) enqwen_1.7b_ace15.safetensors(3,7 GB) inmodels/text_encoders, en plaatsace_1.5_vae.safetensors(0,3 GB) inmodels/vae. Dit is in totaal 10 GB aan bestanden. - Vul in het knooppunt TextEncodeAceStepAudio1.5 de stijltags in, evenals de songtekst met duidelijke secties zoals [verse] en [chorus]. Pas eventueel het tempo en de toonsoort aan. Let op: de standaardtaal staat op “en”.
- Stel de gewenste lengte in bij duration in het tekstblok en bij seconds in EmptyAceStep1.5LatentAudio (in het sjabloon zijn deze gekoppeld via een overkoepelend Song Duration-knooppunt).
- Klik op Run. Het voltooide audiobestand verschijnt automatisch in de map
ComfyUI/output/audio.
Er bestaat tevens een zwaardere XL-versie (4B). Volgens de makers levert die een hogere audiokwaliteit op, maar het basismodel in bf16 weegt 10 GB en de bijbehorende 4B-planner nog eens 8,4 GB. Op een 24 GB-videokaart zoals mijn RTX 4090 past dat, maar op kaarten met 12 GB VRAM vereist dat offloading. Mijn metingen hieronder zijn uitgevoerd met de snellere 2B turbo-variant.
Test op RTX 4090: Engels en meertaligheid
Tijdens mijn tests op 17 oktober 2026 heb ik ACE-Step 1.5 turbo (8 stappen, 1.7B planner) op de pijnbank gelegd. Eerst genereerde ik een Engelstalige synthpop-track (jaren 80-stijl, mannelijke zang, lengte ingesteld op 120 seconden). Vervolgens voerde ik een meertaligheidstest uit met een Poolse songtekst (twee coupletten en een refrein, 83 woorden) over regen en jazzmuziek, onder de prompt: “Polish pop ballad, warm female vocals, piano and soft synth pads”.
Om de tekstverstaanbaarheid objectief vast te stellen, heb ik alle resulterende audiobestanden getranscribeerd met Whisper large-v3 en berekend welk percentage van de ingevoerde woorden foutloos terug te vinden was in de transcriptie. De gemeten tijd omvat het totale proces vanaf het versturen van de opdracht tot het wegschrijven van het audiobestand, inclusief het inladen van modellen. Het VRAM-verbruik toont de piekbelasting van de complete videokaart.
| Testrun | Woorden gezongen | Generatietijd | Piek VRAM |
|---|---|---|---|
| EN, synthpop | 96,1% (73/76) | 8,0 s | 15,2 GB |
| PL, seed 11 | 94,0% (78/83) | 35,2 s | 20,0 GB |
| PL, seed 22 | 94,0% (78/83) | 91,4 s | 14,0 GB |
| PL, seed 33 | 98,8% (82/83) | 34,1 s | 10,7 GB |
In de Engelse test zette ACE-Step een score neer van 96,1% verstaanbare woorden. Zodra het model al in het videogeheugen was geladen, duurde het genereren van een track van 2 minuten slechts 8,0 seconden. Bij de meertalige test behaalde het model een gemiddelde score van 95,6% (respectievelijk 94,0%, 94,0% en 98,8% over de drie runs). De uitschieter naar 91,4 seconden bij seed 22 ontstond doordat ComfyUI tussentijds van model wisselde in het geheugen; de pure rekentijd bleef zeer consistent.
De uitspraak bleef stabiel zonder verzonnen tussenvoegsels. Kleine foutjes traden alleen op bij specifieke medeklinkers en eigennamen: de Poolse locatienaam “na Pradze” werd door het model bijvoorbeeld gezongen als “na pracy”. Een ander sterk punt: ACE-Step leverde exact de vooraf ingestelde lengte van 2:00 minuten af, terwijl alternatieven er soms vroegtijdig mee ophielden.
Vergelijking: 4 lokale muziekmodellen
Ik heb exact dezelfde prompts en songteksten vergeleken over vier verschillende lokale AI-muziekgeneratoren op mijn testsysteem (RTX 4090, 17 oktober 2026):
| Model | Engels (1 run) | Meertalig testgemiddelde | Commerciële licentie |
|---|---|---|---|
| ACE-Step 1.5 turbo | 96,1% | 95,6% | Ja (MIT) |
| YuE2 (3B) | 100% | 91,2% | Nee (CC BY-NC 4.0) |
| MiniMax Music 3 | 92,1% | 89,2% | Ja (met voorwaarden) |
| DiffRhythm 2 | 100% | 4,8% | Ja (Apache 2.0) |
Kijken we naar de generatiesnelheid en het resourcegebruik, dan lopen de verschillen flink uiteen:
| Model | Generatietijd (PL-test) | Piek VRAM |
|---|---|---|
| ACE-Step 1.5 turbo | 34-91 s (8 s warm) | 10,7-20,0 GB |
| YuE2 bf16 | 61-108 s | 13,3-16,3 GB |
| MiniMax Music 3 | 113-178 s | 18,4-24,1 GB |
| DiffRhythm 2 | ca. 60 s | Niet gemeten |
Voor Engelstalige teksten leverden YuE2 en DiffRhythm 2 beide een perfecte transcriptiescore van 100%. DiffRhythm 2 beschikt echter louter over Engelse en Chinese fonetiek; bij de niet-ondersteunde taal zakte de verstaanbaarheid ineen naar 4,8% (onverstaanbare klanken). MiniMax Music 3 had de neiging om coupletten in willekeurige volgorde te zingen en kapte nummers vroegtijdig af (tussen 73 en 111 seconden bij een ingestelde limiet van 150 seconden), terwijl het model met 24,1 GB vrijwel al mijn VRAM opeiste.
Welk lokaal model kies je waarvoor?
- Commerciële producties en jingles: ACE-Step 1.5 turbo. Het is het snelste model, kent een vrije MIT-licentie en biedt consistente meertalige resultaten mits je de taalcode juist configureert.
- Engelstalige hobbyprojecten: YuE2. Dit model scoorde vlekkeloos op de Engelse uitspraak (100% in 32 seconden), maar door de CC BY-NC 4.0-licentie mag je de muziek niet verkopen.
- Specifieke genresound: MiniMax Music 3. Alleen aan te raden als je specifiek valt voor de klankkleur van dit model, want het verbruikt buitensporig veel VRAM (tot 24,1 GB) en generaties duren merkbaar langer.
- Alleen Engels of Chinees: DiffRhythm 2. Presteert sterk in het Engels onder een Apache 2.0-licentie, maar faalt volledig zodra je er andere talen in stopt.
Veelgestelde vragen
Hoeveel VRAM heb je nodig voor ACE-Step 1.5?
Op mijn RTX 4090 lag het piekvloeiend geheugengebruik tussen 10,7 en 20,0 GB, mede doordat ComfyUI soms achtergrondmodellen vasthoudt. Volgens de ontwikkelaars draait het 2B turbo-model met int8-kwantisatie en CPU-offloading al op kaarten vanaf 4 tot 6 GB VRAM. Voor vloeiend gebruik zonder offloading van de turbo- of SFT-modellen met de 1.7B planner is 8 tot 16 GB aan te bevelen, terwijl de XL-versie 20 tot 24 GB vergt.
Wat is het verschil tussen ACE-Step 1.5 turbo, base en SFT?
De turbo-versie werkt met slechts 8 diffusie-stappen en is geoptimaliseerd voor maximale snelheid, waardoor een nummer in enkele seconden kan ontstaan. De base- en SFT-versies gebruiken 50 stappen, wat de generatietijd flink verlengt maar volgens de makers fijnere details toevoegt. SFT is daarbij specifiek gefinetuned voor hogere audiokwaliteit.
Mag je muziek van ACE-Step 1.5 commercieel exploiteren?
Ja, de officiële gewichten en broncode vallen onder de MIT-licentie, wat commercieel gebruik zonder beperkingen toestaat. Houd er wel rekening mee dat streamingdiensten zoals Spotify en YouTube specifieke richtlijnen kunnen hanteren voor AI-audio en dat het auteursrecht op zuiver machinaal gegenereerde muziek juridisch kan afwijken per regio. Je eigen geschreven songteksten blijven uiteraard je eigen creatie.
Werkt ACE-Step 1.5 ook zonder dedicated videokaart?
Volgens de officiële repository biedt de software ondersteuning voor CPU-verwerking, Apple Silicon (MPS), AMD (ROCm) en Intel (XPU). Draaien op een gewone processor leidt echter tot aanzienlijk langere wachttijden vergeleken met een videokaart. De standaard workflows binnen ComfyUI zijn hoofdzakelijk afgestemd op Nvidia-hardware met CUDA.
Ondersteunt ACE-Step 1.5 andere talen dan Engels?
Ja, de ontwikkelaars geven op dat het model meer dan 50 talen aankan. In mijn meertalige test met een Poolse songtekst haalde ACE-Step een gemiddelde verstaanbaarheidsscore van 95,6% over drie runs. Cruciaal hierbij is dat je in het invoerknooppunt handmatig de juiste taalcode instelt, anders valt het model terug op een Engelse tongval.
Bronnen
- ACE-Step 1.5 op GitHub (MIT-licentie).
- Modelkaart ACE-Step/Ace-Step1.5 op Hugging Face.
- Bestanden voor ComfyUI: Comfy-Org/ace_step_1.5_ComfyUI_files.
- m-a-p/YuE2-3B op Hugging Face (CC BY-NC 4.0-licentie).
- MiniMaxAI/MiniMax-Music3 (MiniMax-Music3 Community License).
- DiffRhythm 2 op GitHub (Apache 2.0-licentie).
- Metingen van de auteur: 17 oktober 2026, RTX 4090, ComfyUI 0.41, transcriptie-evaluatie via Whisper large-v3.
Gecontroleerd op 17 oktober 2026.
More on this from HELDER
