AI influencer video lokaal: 15 clips met Kandinsky en Wan
Ik bracht 5 fictieve personages tot leven in 15 verticale video's met behulp van lokale modellen. Ontdek hoe Kandinsky 6.0 en Wan 2.2 5B presteren op een RTX 4090.
👁 111 keer gelezen
Wil je een realistische AI influencer video lokaal maken op je eigen pc zonder cloudabonnementen? In dit experiment testte ik 15 clips op een Nvidia RTX 4090 met drie lokale videogeneratiemodellen. Meer achtergrond over open modellen vind je in het overzicht van lokale AI-modellen voor tekst, beeld en video.
Situatie op 17 oktober 2026
- Input: portretten gegenereerd met FLUX.2 Klein 4B; output: 5 seconden, verticaal 9:16, 24 fps.
- Kandinsky 6.0 Lite: circa 1,5 tot 2,5 minuten per clip, inclusief audio en spraak.
- Kandinsky 6.0 Pro (int8): circa 6 tot 7 minuten per clip, video en spraak gecombineerd.
- Wan 2.2 5B: circa 1,5 minuut per clip, genereert enkel beeld zonder geluid maar levert de meest vloeiende handbewegingen en mimiek.
- Commercieel gebruik is toegestaan onder open licenties (MIT en Apache 2.0).
Hoe ik de video’s lokaal genereerde
Als startpunt gebruikte ik de fictieve profielen uit mijn eerdere artikel over een AI-influencer lokaal maken. Elk personage kreeg een selfie die fungeerde als de allereerste frame van de video. Vervolgens gaf ik elk personage een korte gesproken zin (7 tot 10 woorden) mee, samen met een beknopte omschrijving van de handeling en de achtergrondgeluiden.
- Afbeeldingen uit FLUX.2 Klein 4B ingeladen als startframe vanwege de natuurlijke weergave en de Apache 2.0-licentie.
- De tekstprompt bevatte de visuele actie, met de uitgesproken dialoog tussen
<S>...<E>tags voor Kandinsky. - Resoluties ingesteld op 480×864 pixels voor Kandinsky en 544×960 pixels voor Wan 2.2, beide voor exact 121 frames (5 seconden bij 24 fps).
- De resulterende spraakopnamen uit Kandinsky liet ik analyseren door Whisper large-v3 om de verstaanbaarheid objectief te meten.
De promptopbouw voor de videogeneratie zag er als volgt uit:
A vertical smartphone selfie video of the woman from the reference image, same face and clothes, same place. She is strands of hair blowing across her face, grinning into the phone, looks into the phone camera and says in Polish: <S>Wieje jak diabli, ale Morskie Oko czeka. Idziemy!<E> Natural handheld phone movement, realistic, no filters.
Sound: strong mountain wind, her energetic voice
Spraaktest: verstaanbaarheid in de clips
De modellen van Kandinsky genereren tegelijkertijd beeld, omgevingsgeluid en spraak. In deze test kregen alle vijf personages een Poolstalige testzin mee. Vervolgens analyseerde ik met Whisper large-v3 welk percentage van de uitgesproken woorden correct en verstaanbaar werd uitgesproken. Dit geeft een direct beeld van de nauwkeurigheid van lokale audiogeneratie.
| Geteste zin (Poolstalige test) | Kandinsky Pro | Kandinsky Lite |
|---|---|---|
| Hardloopster (9 woorden) | 67% | 56% |
| Foodblogger (9 woorden) | 70% | 30% |
| Tuinierster (7 woorden) | 62% | 38% |
| Tech-reviewer (7 woorden) | 86% | 71% |
| Berggids (9 woorden) | 38% | 88% |
Gemiddeld scoorde Kandinsky 6.0 Pro met 65% herkende woorden beter dan de Lite-versie, die op 57% bleef steken. Wel varieert dit flink per clip: bij de berggids behaalde Lite juist 88% tegenover 38% voor Pro. Complexe klanken en ongewone leenwoorden raken snel vervormd. Korte, eenvoudige zinnen leveren het beste resultaat op. Voor platforms zoals Instagram of TikTok, waar ondertitels gebruikelijk zijn, is het niveau van Pro bruikbaar. Wil je langere verhalen vertellen, dan levert het los genereren van een spraakstem via gespecialiseerde tools een strakker resultaat op.
Vergelijking van de modellen voor AI video lokaal
De drie geteste configuraties hebben duidelijke verschillen in snelheid, benodigde systeembronnen en visuele stabiliteit. Naast deze tools bestaan er ook opties zoals LTX-Video op je eigen GPU, maar Kandinsky en Wan blinken specifiek uit in smartphone-achtige uitsnedes.
| Model | Tijd per clip | Sterke punten | Aandachtspunten |
|---|---|---|---|
| Kandinsky 6.0 Pro (int8) | 6:06 - 7:02 min* | Beste spraak, achtergrondgeluid past bij omgeving | Traagste optie, vereist 64 GB RAM |
| Kandinsky 6.0 Lite | 1:24 - 2:32 min | Snel, natuurlijke camerabeweging, inclusief geluid | Vervormt vaker woorden (gemiddeld 57%) |
| Wan 2.2 5B | 1:23 - 2:03 min | Soepele handbeweging, mimiek, stabiele referentie | Geen geluid, gezicht veranderde licht in één clip |
*Eén clip van Pro deed er 40 minuten over doordat een ander proces tegelijkertijd de videokaart zwaar belastte. Op een volledig vrijgemaakte RTX 4090 duurde Kandinsky Lite gemiddeld circa 2 minuten en Pro circa 6,5 minuten.
Wat werkte goed en wat ging mis
- Gezichtsconsistentie: Alle drie de modellen behielden kenmerken zoals sproeten, brillen en kleding van het ingevoerde portret nauwkeurig. Alleen bij de hardloopster leek het gezicht in de clip van Wan 2.2 tegen het einde iets jonger te worden.
- Realisme van de camerabeweging: Kleine trillingen in de hand, wapperend haar en knipperende ogen zorgden voor een authentieke mobiele look zonder de gepolijste reclame-uitstraling.
- Vreemde interacties: In de clip van Wan bewoog de foodblogger een lepel bijna tot tegen haar neus. In een andere clip bewoog de reviewer voor de spiegel juist nauwelijks.
- Spraakartefacten: Kandinsky Lite verhaspelde in één geval een regulier woord tot een onbedoeld scheldwoord. Het vooraf beluisteren van gegenereerde clips blijft noodzakelijk.
Zelf een AI video maken: stappenplan
Wie zelf aan de slag wil, kan de modellen lokaal draaien binnen ComfyUI. Installeer eerst je omgeving (eventueel via Pinokio voor lokale AI-apps) en volg daarna deze stappen:
- Genereer een startportret in hoge resolutie via FLUX.2 Klein 4B.
- Laad Kandinsky 6 in ComfyUI met de template “Image to Video+Audio”.
- Voer de afbeelding in bij “Load Image”, stel de resolutie in op 480×864 pixels, zet
enabledbij “Beautify Prompt” op false en plaats de gesproken tekst tussen<S>...<E>. - Houd de teksten kort (6 tot 10 woorden). Genereer 2 tot 3 varianten om de beste uitspraak te selecteren.
- Gebruik Wan 2.2 5B (template “Wan 2.2 5B ti2v”) wanneer je puur visuele clips nodig hebt om achteraf van muziek te voorzien.
Veelgestelde vragen
Kan ik een sprekende AI influencer gratis maken?
Ja, dat kan volledig lokaal op je eigen pc zonder abonnementskosten. Zowel Kandinsky 6.0 (MIT-licentie) als Wan 2.2 (Apache 2.0-licentie) zijn gratis en commercieel bruikbaar. Je hebt wel een krachtige videokaart met 24 GB VRAM nodig, zoals de RTX 4090, en voor Kandinsky Pro minimaal 64 GB werkgeheugen.
Hoe lang kunnen de gegenereerde videoclips zijn?
Beide geteste modellen zijn getraind op fragmenten van 5 seconden (121 frames). Om langere video’s te maken, genereer je meerdere clips achter elkaar waarbij je het laatste frame van de vorige clip gebruikt als het eerste frame van de volgende.
Hoeveel tijd kost het renderen van één clip?
Op een Nvidia RTX 4090 duurt een clip van 5 seconden ongeveer 1,5 tot 2,5 minuten met Wan 2.2 5B of Kandinsky 6.0 Lite. De zwaardere Kandinsky 6.0 Pro (int8) vereist ongeveer 6 tot 7 minuten per fragment.
Welk model levert de beste bewegingskwaliteit?
Wan 2.2 5B levert visueel de soepelste mimiek en de meest natuurlijke handbewegingen op. Dit model genereert echter geen audio, waardoor je geluidseffecten en stemmen achteraf apart moet toevoegen.
Is gekwantiseerde opslag noodzakelijk voor Kandinsky Pro?
Ja, Kandinsky 6.0 Pro draait op consumentenhardware in een int8-kwantisatie om binnen het videogeheugen te passen. Meer over dit type geheugenoptimalisaties lees je in de gids over GGUF en kwantisatie.
Bronnen
- Kandinsky 6.0 op Hugging Face (MIT-licentie)
- Wan 2.2 TI2V 5B op Hugging Face (Apache 2.0-licentie)
- Eigen test op Nvidia RTX 4090, 17 oktober 2026: 15 videoclips, Whisper large-v3 spraakanalyse.
Gecontroleerd op 17 oktober 2026.