basal-omni: Remek Kinasa’s model staat bovenaan in JevBench

👁 128 keer gelezen

Het open model basal-omni-1.0-ultra van Remek Kinas staat bovenaan bij de open modellen in JevBench. Die benchmark vergelijkt modellen die geen tekst schrijven, maar een antwoord uit een lijst kiezen en aangeven hoe zeker ze daarvan zijn. basal haalt een Capability Score van 82,5. Neem je ook gesloten API-diensten mee, dan staat alleen kettei-fat van Sqwish hoger (86,3). basal scoort daarmee beter dan gesloten beslismodellen van OpenAI en Microsoft en dan Jev van TypeSafe, het model waarmee deze categorie begon. Ik bekeek de JevBench-ranglijst, de modelpagina’s op Hugging Face en wie de benchmark beheert. Ook draaide ik de kleinste versie op mijn eigen computer.

Wat Remek Kinas aankondigde

Op 17 oktober schreef Remek Kinas (@KinasRemek op X) dat basal-omni „wereldwijd nummer 1 onder open modellen” is en tweede van alle modellen in JevBench. Hij sloot zijn bericht af met: „Dus het kan wel? Jazeker! Poolse AI.” Ook bedankte hij de maker van de benchmark (@airesearch12) voor de onafhankelijke beoordeling. Volgens de teller op X was het bericht op 19 oktober ongeveer 266.000 keer bekeken.

basal is een project van Kinas. Het heeft een eigen uitvoeromgeving, basal-serve, en twee modelfamilies: basal-2.0, gebouwd op het Poolse Bielik v3, en basal-omni, gebouwd op Google’s Gemma 4. basal-omni kan tekst, afbeeldingen en audio verwerken; ultra ondersteunt geen audio. Net als andere beslismodellen schrijft het geen zinnen. Het krijgt een toestand, bijvoorbeeld de inhoud van een melding, en vragen met een vaste lijst antwoorden. Vervolgens geeft het in één doorgang de waarschijnlijkheid van elke optie. TypeSafe introduceerde deze werkwijze met het model Jev. Ik schreef in september over Jev in Jev van TypeSafe. De categorie komt ook aan bod in mijn gids over AI-beslismodellen.

De score in JevBench

JevBench geeft elk systeem dezelfde 1.500 beslissingen en meet vier zaken: nauwkeurigheid (Intelligence), kalibratie - de mate waarin de opgegeven zekerheid overeenkomt met de werkelijke nauwkeurigheid - snelheid en de kosten per 1.000 beslissingen. De hoofdranglijst voor open modellen is gebaseerd op de Capability Score, het gemiddelde van nauwkeurigheid en kalibratie. Alleen systemen „van het type Jev” mogen meedoen: ze mogen hoogstens twee keer zoveel kosten en hoogstens twee keer zo langzaam zijn als Jev.

Op de aparte ranglijst voor API-diensten, die dezelfde maatstaf gebruikt, staat kettei-fat van Sqwish bovenaan (86,3). Daarna volgen onder meer d1-ultra van Liquid AI (80,5), Jev 1.13.0 (77,1), Jev 1.14.0 (75,0), OpenAI Decisions op GPT-6 Luna (73,5) en Microsoft-Decision-1 (72,2, voorlopig resultaat). Met 82,5 staat basal tweede wanneer je de twee ranglijsten samenneemt.

Wat „nummer 1” wel en niet betekent

• Het is de eerste plaats op de Capability Score, die nauwkeurigheid en kalibratie meet. In de officiële totaalscore van JevBench (Composite), waarin snelheid en kosten elk ook voor 25% meetellen, staat basal-omni-1.0-ultra derde van 184 open systemen. Twee veel kleinere modellen met 4 miljard parameters staan hoger: H2O-Lightning-4B v1.1 en Torchcast Decision 4B. Die zijn goedkoper in gebruik, maar duidelijk minder nauwkeurig (60,0 en 60,3).
• De ranglijst verschilt per versie. Toen basal op 17-10 op de ranglijst kwam (versie v1.6.28), meldde de release-opmerking de vierde plaats van 45 bij de toenmalige trekking van taken. De huidige volgorde staat in ranglijstversie v1.7.46 van 18-10.
• JevBench meet de snelheid van ultra zelf: de mediaan is 0,102 s. De kosten bedragen €0,0401 (US$0.045) per 1.000 beslissingen, 38% meer dan bij Jev, maar nog binnen de grenzen voor systemen van het type Jev. De omgerekende prijs is een schatting op basis van de ECB-referentiekoers van 19-10-2026 (1 EUR = 1,1225 USD); bron: ECB-wisselkoersen.
• Alleen ultra staat in deze tabel. De kleinere versies basal-omni mini en max hebben geen aparte JevBench-score.

Wie beheert JevBench?

JevBench staat op de website Benchmark Heaven. De site en GitHub-repository beschrijven het als een open-source hobbyproject onder de MIT-licentie van Florian Standhartinger, die op X de naam @airesearch12 gebruikt. Dat is dezelfde persoon die Kinas bedankte. De site zegt dat de modellen „onafhankelijk van TypeSafe AI” worden vergeleken. De naam en meetmethode komen van Jev: de kosten- en tijdslimieten worden ten opzichte van Jev berekend en Jev 1.13.0 staat buiten de ranglijst als referentie. Op de site vond ik geen informatie over banden tussen de maker en TypeSafe of Kinas. Een deel van de taken is openbaar; het grootste deel blijft geheim, zodat modellen de antwoorden niet kunnen leren. De maker beschrijft methodologische wijzigingen in de release-opmerkingen van elke versie.

JevBench is een van meerdere ranglijsten. In de Decision Index van Artificial Analysis staat d1-ultra van Liquid AI op 19-10 bovenaan met 65,2 punten, vóór Jev 1.13. basal-omni was daar niet getest.

Drie formaten en een eigen benchmark van de maker

V1 is een verborgen set beslissingen in het Pools en Engels, verdeeld over 10 categorieën en samengesteld door de maker zelf. Dit is dus een resultaat van de maker, geen onafhankelijke meting. Volgens de modelpagina’s handelt ultra bij de standaarddrempel van 1% fout automatisch 56,8% van de beslissingen af en legt het de rest voor aan een mens. De zwakste categorieën van alle versies gaan over regels met exacte drempels en datums. De maker raadt aan zulke zaken met code te berekenen.

Sinds 19 oktober zijn mini en max ook beschikbaar als GGUF-versies voor Ollama en llama.cpp, als FP8 voor vLLM en als MLX voor Mac. Ze verschenen samen met basal 2.2 en de nieuwe tool basal-calibrate, waarmee je het model op eigen gegevens kunt kalibreren: basal 2.2 en basal-calibrate.

Wie is Remek Kinas?

Remigiusz Kinas is Principal AI Researcher bij Ingenix.ai, een bedrijf uit Warschau dat AI-modellen ontwikkelt voor biologie en klinisch onderzoek. Hij is een van de medeontwikkelaars van de Poolse modellen Bielik en heeft de titel Kaggle Grandmaster. basal is zijn eigen project: de code voor de uitvoeromgeving staat op zijn GitHub-account (rkinas/basal) en de modellen staan op Hugging Face onder het account Remek. Versie 2.2 bevat ook bijdragen van enkele mensen uit de community.

Ik testte de kleinste versie

Op 19 oktober draaide ik basal-omni-1.0-mini als GGUF Q8_0 (7,9 GB) via Ollama op een RTX 4090. Ik gebruikte mijn set van 50 Poolse winkelmeldingen en 10 toolbeslissingen, waarmee ik op 13-10 modellen uit de AA-ranglijst had getest. De test was dus in het Pools. Mini classificeerde 42 van de 47 meldingen correct, bepaalde de urgentie bij 47 van de 50 en koos in alle 10 gevallen het juiste hulpmiddel. Dat is één melding meer dan Jev 1.13 op dezelfde set, bij een lokale mediaan van 137 ms per beslissing. Voor de stapsgewijze handleiding en alle resultaten: basal lokaal: Ollama, llama.cpp en Mac.

Voor wie is dit model?

• Bedrijven die veel tekst in het Pools classificeren, zoals meldingen, e-mails en documenten, en gegevens niet naar een externe API willen sturen. De Apache-2.0-licentie staat commercieel gebruik toe.
• Teams met AI-agenten die snel moeten beslissen of ze een tool aanroepen, om verduidelijking vragen of weigeren, met een numerieke zekerheidsscore.
• Niet bedoeld om tekst te schrijven. basal kan geen klant antwoorden of een samenvatting schrijven. Daarvoor heb je nog steeds een gewone taalmodel nodig.

// lees verderDecision model vs LLM: wanneer kies je welke techniek?BenchmarksQwen-Image-2.1: beste open model op Artificial AnalysisBenchmarksVPS: model doorzoekt hoogresolutie beelden parallelBenchmarks

Kinetyra