Onafhankelijke AI-tests: Helder Lab
In Helder Lab publiceer ik mijn eigen, reproduceerbare AI-benchmarks. Elke test bevat meetbare criteria, exacte kosten en waar mogelijk downloadbare data.
👁 121 keer gelezen
Helder Lab is mijn verzameling onafhankelijke AI-tests: taalmodellen, beeldgeneratoren, video, stem en lokale modellen op een RTX 4090. Elke test bevat een datum, het aantal geteste voorbeelden, een vastgelegde methode, de exacte API-kosten van de factuur en waar mogelijk ruwe data om zelf te downloaden.
Laatste resultaten (stand op 18 oktober 2026)
- 17.10: FLUX 3 Image Klein genereert lokaal een afbeelding in 6-7 s bij 7,5 GB VRAM.
- 14.10: Thélynson Orélien-test: dezelfde alinea kreeg 100%, 84,6% en 0% AI-score bij drie detectors; een detector markeerde Zola als AI.
- 13.10: Gemini 4 Argon scoort 99,5% op 23 taken en behaalt 81,8 punten (8e plaats) in de schrijftest.
- 12.10: Muse Wonder behaalt 87,0 punten en eindigt als 2e in de schrijftest, vlak achter Claude Opus 5.5 (90,1).
- 11.10: FLUX 3 Video behaalt 8,9/10 op de vijf Video Arena-scènes en verslaat Wan 3.0 (8,8), met foutloze spraak en letters.
Hoe ik test
De methodiek is consistent voor elk domein. Een uitgebreide toelichting op de filosofie achter mijn metingen vind je op de pagina over hoe er getest wordt.
- Dezelfde prompts en instellingen. Alle geteste modellen binnen een vergelijking ontvangen identieke instructies en parameters, zoals een vast reasoning-niveau (effort=low). Afbeeldingen en video’s worden gegenereerd in een enkele run, zonder herkansingen of handmatige selectie vooraf.
- Blinde beoordeling bij open opdrachten. Bij teksten zonder een vast antwoordmodel beoordelen drie externe LLM-rechters van verschillende leveranciers de uitvoer onder willekeurige ID’s. Een beoordeling door een model van dezelfde maker als de kandidaat wordt direct verworpen. Audiofragmenten worden beoordeeld via blinde luistertests.
- Metingen in plaats van subjectieve indrukken. Spraakkwaliteit en zang meet ik met Whisper large-v3 via het percentage woordfouten (WER). Tekst op beeld controleer ik karakter voor karakter, layout en bewerkingen via IoU- en SSIM-scores, en kennistests via een strikte antwoordsleutel. Tokens, latentie en kosten lees ik direct uit de API-respons.
- Hardware en toegang. Mijn lokale tests draaien op een RTX 4090 24 GB, i9-14900KF, 64 GB RAM onder Windows 11 met llama.cpp, Ollama en ComfyUI. Cloudmodellen test ik uitsluitend via openbare API’s (officiële vendor-API’s en API-gateways), identiek aan wat elke ontwikkelaar gebruikt.
- Vaste peildata. Modellen krijgen doorlopend updates; elk resultaat geldt strikt voor de specifieke testdatum. Deze datum staat expliciet vermeld in het overzicht en in elk artikel.
- Exacte factuurkosten. Ik rapporteer de werkelijke uitgaven per test: de eerste editie van de schrijftest kostte 6,12 USD en de Video Arena 8,54 USD. Voor lokale modellen registreer ik het energieverbruik van de GPU via telemetrie.
- Volledige transparantie van data. Modelantwoorden, gegenereerde beelden, videoclips en geluidsfragmenten worden ongefilterd in de artikelen opgenomen. Ruwe data van teksttests stel ik beschikbaar als databestand.
- Openbare correcties. Als er een fout zit in een evaluatiescript of antwoordsleutel, herbereken ik de data direct en vermeld ik dit transparant in het betreffende artikel.
- Afgebakende reikwijdte. Eén poging per taak vormt een gerichte benchmarktest en geen statistische steekproef van duizenden runs. Test modellen voor bedrijfskritische taken altijd op je eigen specifieke data.
Alle tests
Dit overzicht toont uitsluitend benchmarks die ik zelfstandig heb opgezet, uitgevoerd en gepubliceerd. De kolom Monsters geeft het aantal modellen, taken of databestanden aan.
Schrijven, redactie en kennis
| Test | Datum | Monsters | Methode |
|---|---|---|---|
| Vier open-weight modellen: Muse Spark Open, DeepSeek V4.1 Flash, Step 5, Nemotron 3.5 | 19 okt 2026 | 4 modellen, 12 taken | Automatische beoordeling, één gecorrigeerde regel; via de API, test in het Pools |
| Argon vs Opus 5.5, Astra en Muse Wonder | 12-13.10.2026 | 6 modellen, 23 taken | Automatische score, handmatige controle |
| Budgetmodellen: Haiku 5.5, Luna, Flash | 8.10.2026 | 3 modellen, 13 taken | Standaard Lab-testset |
| GLM-5.3 stresstest | 27.09.2026 | 13 taken, 2 runs bij verschillende providers | Standaard Lab-testset |
Lokale AI op RTX 4090
| Test | Datum | Monsters | Methode |
|---|---|---|---|
| 7 lokale taalmodellen | 26.09.2026 | 7 modellen, 13 taken | Standaard Lab-testset, llama.cpp; test in het Pools |
| Gemma 4 31B lokaal | 8.10.2026 | 1 model: snelheid, VRAM, niet-Engels | Ollama 0.40.1; test in het Pools |
| Lokaal model versus API | 26.09.2026 | 13 taken: stroom vs API-factuur | GPU-verbruik via nvidia-smi elke 0,5 s |
| Z-Image Turbo vs Qwen-Image 2.1 | 26.09.2026 | 8 prompts, 16 beelden | ComfyUI, vaste seed |
| Qwen-Image 2.1 vs gesloten modellen | 1-2.10.2026 | 4 tests | OCR, IoU, SSIM, effectieve resolutie |
| Qwen-Image 2.1 Turbo | 17.10.2026 | 4 prompts | ComfyUI 0.41 |
| AI-influencer op 5 modellen | 17.10.2026 | 5 personages, 5 modellen, 125 beelden | Consistente personagebeschrijvingen |
| Wan 2.2 lokaal | 26.09.2026 | 4 clips van 5 s | ComfyUI 0.37, VRAM-meting |
| Kandinsky 6.0 Video | 17.10.2026 | Lite- en Pro-versies | Generatietijd, VRAM, audio; Poolse spraak in de clips |
| Pratende AI-influencer | 17.10.2026 | 5 personages, 3 modellen | Spraakanalyse via Whisper; Poolse spraak in de clips |
Video
| Test | Datum | Monsters | Methode |
|---|---|---|---|
| AI Video Arena | 8.10.2026 | 6 modellen, 5 scenes, 25 clips | Score 0-10 in 5 categorieen, kosten 8,54 USD; één scène met Poolse spraak en Poolse letters |
| Nederlandse spraak in 10 videomodellen | 29.09.2026 | 10 modellen, 20 clips | faster-whisper large-v3 en medium, ffmpeg; test in het Nederlands |
| Ranking AI-videogeneratoren | 26-27.09.2026 | 6 modellen, 2 prompts, 12 clips | Enkele poging, kosten 4,33 USD |
| Wan 3.0 vs Wan 2.2 | 26.09.2026 | 4 prompts, 8 clips | Cloud versus lokale RTX 4090 |
| Kling 4.0 API-beschikbaarheid | 15.10.2026 | 7 providers, 2 testopdrachten | API-statuscontrole |
Afbeeldingen
| Test | Datum | Monsters | Methode |
|---|---|---|---|
| Arena beeldgeneratoren | 30.09-2.10.2026 | 11 modellen, 4 taken, 80+ beelden | OCR-nauwkeurigheid, IoU, SSIM, resolutie |
| Ranking beeldgeneratoren | 27.09.2026 | 8 modellen, 5 prompts, 40 beelden | Enkele poging, API-kosten 2,25 USD |
| Alternatieve beeldgeneratoren | 27.09.2026 | 6 modellen, 37 beelden | Vaste prompts, niet-Engelse gevelborden; test in het Pools |
| Nano Banana 2.1: grafiek en strip | 7.10.2026 | 2 stresstests | Staafdiagram op pixel, tekstballonnen |
| HY Image 3.5 Preview | 8.10.2026 | 7 beelden | Taken uit de Beeldarena |
Stem, transcriptie en muziek
| Test | Datum | Monsters | Methode |
|---|---|---|---|
| Beste AI-stem: 14 modellen | 28.09.2026 | 14 TTS-modellen, 18 checkpoints | 3 transcripties per opname; test in het Pools |
| Blinde vergelijking AI-stemmen | 8.10.2026 | 8 stemmen, 1 tekst, 15 checkpoints | Blinde luistertest, genormaliseerd volume; test in het Pools |
| Eleven v4 in het Nederlands | 29.09.2026 | 18 getallen en afkortingen, Ido-stem | Whisper, Scribe en AI-beoordeling; test in het Nederlands |
| ElevenLabs Scribe Nederlands | 29.09.2026 | Interview 66 s, 138 woorden, 13 getallen | Scribe v2 vs Whisper large-v3 lokaal; test in het Nederlands |
| AI-muziekgeneratoren met zang | 3.10.2026 | 7 vocale modellen, 1 instrumentaal | Vaste songtekst, eerste take; test in het Pools |
| Ranking muziekgeneratoren | 8.10.2026 | 5 modellen, 2 pogingen elk | Whisper en 2 AI-beoordelaars; test in het Pools |
AI-detectors en kosten
| Test | Datum | Monsters | Methode |
|---|---|---|---|
| AI-detectors op literaire roman | 14.10.2026 | 3 detectors, romanfragmenten en controle | Identieke tekstsegmenten per detector |
| Wat kost een seconde AI-video? | 9.08.2026, updates | Tarieven van 16 modellen | Analyse van publieke API-prijslijsten |
Tekstkwaliteit in een niet-Engelse taal: uniforme schaal
Nieuwe taalmodellen onderwerp ik direct op de dag van introductie aan dezelfde 13 taken als tijdens de eerste testronde van 26 september. Door kalibratie met vaste ankermodellen zijn de scores één-op-één vergelijkbaar met de eerdere resultaten. Deze serie is uitgevoerd op complexe Poolse teksten als niet-Engelse stresstest.
De initiële testronde omvatte 16 modellen van 9 verschillende AI-ontwikkelaars, verdeeld over 13 taken (9 schrijfopdrachten, 2 correctie-oefeningen en 2 kennistests). Dit leverde 351 blinde beoordelingen op bij een totale API-uitgave van 6,12 USD (waarvan 3,19 USD voor de modelgeneraties, 2,75 USD voor de beoordelende LLM’s en 0,18 USD voor mislukte calls). De scherpste prijs-kwaliteitverhouding kwam van GPT-6 Luna: 82,8 punten voor slechts 0,002 USD over alle 9 schrijftaken. De volledige data van deze meetronde is direct in te zien via het 2026-09-pisanie-po-polsku.zip datapakket.
Thematische overzichten
Lokale AI op je eigen pc: gids voor tekst, beeld, video en audio op eigen hardware.
Kling 4.0: functies, prijzen en actuele API-status overzichtelijk op een rij.
Higgsfield AI: complete gids 2026 met kosten, modellen en workflow-tools.
Beste AI video generator 2026: uitgebreide testresultaten en actuele tarieven.
Eerdere losse tests
Voorafgaand aan de gestandaardiseerde Lab-tabellen publiceerde ik afzonderlijke evaluaties van specifieke modellen en functionaliteiten:
- AI-modellen test 16.09.2026: 7 modellen, 4 taken, volledige resultaten
- GPT-6 Astra hallucinatietest: vier modellen over niet-bestaande feiten
- AI Act kennis chatbots: 8 van 9 modellen geven foute data
- Gemini 3.8 Flash test: contextvenster AI getest met Pools
- ChatGPT beeldbewerking: test met elf opeenvolgende aanpassingen
- Test van 11 AI-modellen: GPT-6 Astra wint, test had fout
- Claude Opus 5.5 data-analyse: 44 beweringen getest
Onafhankelijkheidsgarantie
- Geen betaalde plaatsingen. Geen enkel bedrijf betaalt voor deelname aan een test of een positie in de tabellen. Alle API-kosten betaal ik zelf en vermeld ik per test.
- Rangschikking puur op data. De volgorde in vergelijkingen volgt direct uit de meetresultaten en wordt nooit beïnvloed door commerciële samenwerkingen.
- Transparante affiliatielinks. Als een link naar een tool commissie oplevert, staat er rel=”sponsored” bij en vermeld ik dit duidelijk. Dit verandert scores nooit.
- Eigen tools expliciet benoemd. AUTHORRA, een detector voor AI-tekst, is mijn eigen project en fungeerde als een van de drie detectors in de Orélien-test naast Pangram en ZeroGPT. Daarnaast beheer ik de API-tool Jantaris.
- Openbare correcties. Eventuele inhoudelijke fouten herstel ik direct en documenteer ik op de pagina met correcties.
Wie de tests uitvoert
Alle benchmarks in Helder Lab worden bedacht, geprogrammeerd en gedraaid door mij, de auteur van Helder. Meer over mijn achtergrond en werkwijze lees je op de pagina van Helder en op de pagina over dit platform. Voor lokale AI-toepassingen gebruik ik een vast testsysteem met een Nvidia RTX 4090 24 GB, Intel Core i9-14900KF, 64 GB RAM en Windows 11. Ik volg AI-lanceringen dagelijks op de voet en test belangwekkende releases doorgaans op de dag van verschijning.
Contact en suggesties
- Heb je een suggestie voor een nieuw taalmodel of een generatieve tool? Laat via de contactpagina weten hoe het model draait: via openbare API, webapp of als downloadbare gewichten.
- Als je een rekenfout, onjuiste promptwaarde of foute score ontdekt in een test, meld dit dan via de contactpagina; geverifieerde correcties worden direct bijgewerkt.
- Aanvullende ruwe logbestanden naast het gepubliceerde datapakket zijn op aanvraag beschikbaar via het contactformulier.
Toekomstige testreeksen
Volgende benchmarkrondes worden momenteel voorbereid volgens dezelfde vaste methodiek:
- Samenvatten van lange documenten - contracten, beleidsnota’s en rapporten, met een geautomatiseerde telling van weggelaten feiten en hallucinaties.
- Codeeropdrachten in een niet-Engelse taal - programmeervraagstukken met Nederlandstalige functionele eisen, comments en documentatietesten.
- Complexe vertalingen over lange context - integrale documenten in plaats van losse zinnen, specifiek gericht op vaktermen en idioom.
Dit is een planning zonder vastgezette publicatiedata.
Veelgestelde vragen
Wat is Helder Lab?
Helder Lab is een serie onafhankelijke AI-benchmarks waarin taal-, beeld-, video- en spraakmodellen onder identieke condities worden getest. Alle data, prompts, meetmethodes en API-kosten worden per meting gepubliceerd.
Zijn deze tests gesponsord door AI-aanbieders?
Nee, alle tests worden volledig onafhankelijk uitgevoerd zonder betaalde plaatsingen. Alle API-rekeningen betaal ik zelf, zoals 6,12 USD voor de grote schrijftest en 8,54 USD voor de Video Arena.
Welk AI-model schrijft het best in een niet-Engelse taal?
In de stresstest met 13 veeleisende taken behaalde Claude Opus 5.5 de hoogste score met 90,1 uit 100 punten. Muse Wonder volgde met 87,0 punten op de tweede plek en GPT-6 Sol werd derde met 86,4 punten.
Welke hardware wordt gebruikt voor lokale benchmarks?
Lokale modellen draaien op een eigen werkstation met een Nvidia GeForce RTX 4090 24 GB videokaart, gecombineerd met een Intel Core i9-14900KF processor, 64 GB RAM en Windows 11.
Kan ik de ruwe testbestanden zelf downloaden?
Ja, de geanonimiseerde modelantwoorden, evaluatiescripts en scoringscriteria van de schrijftest zijn als zipbestand te downloaden via de site. Overige ruwe logs lever ik op verzoek via het contactformulier.
Waarom wijken deze uitkomsten af van LMArena en Artificial Analysis?
Veel internationale benchmarks richten zich hoofdzakelijk op de Engelse taal en leunen op crowdsourced voorkeursstemmen. Helder Lab focust op reproduceerbare stresstests in andere talen, exacte feitencontroles en strikte meetcriteria.
Bronnen en controleerbaarheid
- Eigen tests uitgevoerd en gedocumenteerd in bovenstaande tabellen, meetperiode 9.08-17.10.2026; exacte parameters, softwareversies en factuurkosten zijn per testartikel gespecificeerd.
- Testdataset van de eerste schrijfronde: 16 modellen via publieke API’s, 208 antwoorden, gejureerd door Claude Opus 5.5, GPT-6 Sol en Gemini 3.1 Pro via databestand 2026-09-pisanie-po-polsku.zip.
- Cloudtests voor video, afbeeldingen en audio: uitgevoerd via officiële publieke API’s met token- en generatiekosten direct overgenomen uit de API-headers.
- Spraakherkenning en transcriptie-evaluatie: Whisper (large-v3) en faster-whisper.
- Gecontroleerd op 18 oktober 2026.
More on this from HELDER
