basal lokaal draaien: Ollama, llama.cpp en Mac

👁 120 keer gelezen

basal-omni is een beslismodel van Remek Kinas: het schrijft geen tekst, maar kiest een antwoord uit een lijst en geeft aan hoe zeker het daarvan is. Sinds 19 oktober kun je kleinere versies draaien zonder server-GPU, via Ollama, llama.cpp of op een Mac. Ik deed dat met de mini-versie in GGUF-formaat op mijn RTX 4090 en liet het model dezelfde reeks Poolse klantmeldingen beoordelen waarmee ik eerder Jev en andere beslismodellen testte. Hieronder vind je de installatie-instructies die bij mij werkten, de hardwarevereisten en de resultaten.

Welke versie past bij welke hardware?

Alle bestanden staan op het Hugging Face-account van Remek en vallen onder de Apache-2.0-licentie. De GGUF- en MLX-versies ondersteunen alleen tekst, geen afbeeldingen of audio.

De maker bracht alleen de kwantisaties Q8_0 en Q6_K uit, omdat alleen die zijn controle op overeenkomst met het origineel doorstonden. Op 10.606 beslissingen met 2-10 opties kiest Q8_0 in 98,7% van de gevallen hetzelfde als de bf16-versie; voor Q6_K is dat 97,1%. Q5_K_M en Q4_K_M vielen af. De grootste ultra-versie (31 miljard parameters) heeft geen GGUF-bestand van de maker.

Stap voor stap: Windows, NVIDIA-GPU en Ollama

Zo heb ik het op 19 oktober gedaan op Windows 11 met Ollama 0.40.5 (minimaal versie 0.35 vereist) en Python 3.12 via uv.

1. De omgeving en basal-engine 2.2 instellen. In Ollama voert Ollama de berekeningen op de GPU uit, dus voor mij volstond de CPU-versie van PyTorch:

   uv venv --python 3.12 env
   uv pip install --python env/Scripts/python.exe torch --index-url https://download.pytorch.org/whl/cpu
   uv pip install --python env/Scripts/python.exe "basal @ https://github.com/rkinas/basal/archive/refs/tags/v2.2.0.tar.gz"

2. Het model downloaden (ongeveer 8 GB). Je hebt het Q8_0-bestand en enkele kleine bestanden erbij nodig: Modelfile, tokenizer, kalibratie en basal.json. Ik heb ze afzonderlijk gedownload, maar met de hf-tool, die samen met de engine wordt geïnstalleerd, gaat het eenvoudiger:

   hf download Remek/basal-omni-1.0-mini-GGUF --local-dir basal-omni-1.0-mini-GGUF --exclude "*Q6_K*"

3. Het model in Ollama registreren met het meegeleverde Modelfile uit de repository:

   cd basal-omni-1.0-mini-GGUF
   ollama create basal-omni-1.0-mini:q8_0 -f Modelfile.Q8_0
   cd ..

4. De basal-server vóór Ollama starten:

   basal-serve --model ./basal-omni-1.0-mini-GGUF --mode ollama --ollama-model basal-omni-1.0-mini:q8_0 --port 8000

5. Een eerste vraag stellen (Python, alleen de standaardbibliotheek). De opbouw is hetzelfde als in de Jev-API; het endpoint is /v1/systemone. De onderstaande Poolstalige testinvoer is vertaald uit het oorspronkelijke Poolse voorbeeld; dit is geen nieuwe test in het Nederlands:

   import json, urllib.request
   body = {"state": "Sinds 9.00 uur werkt het dashboard niet, fout 500; het hele verkoopteam ligt stil.",
     "questions": {
       "dzial": {"type": "choice", "instructions": "Voor welke afdeling is deze melding?",
         "criteria": {"platnosci": "betalingen en facturen", "awaria": "er werkt technisch iets niet",
                      "sprzedaz": "vragen vóór de aankoop"}},
       "pilne": {"type": "noul", "instructions": "Moet er vandaag nog actie worden ondernomen?",
         "criteria": {"true": "ja", "false": "nee"}}}}
   req = urllib.request.Request("http://127.0.0.1:8000/v1/systemone",
     json.dumps(body, ensure_ascii=False).encode("utf-8"),
     {"Content-Type": "application/json; charset=utf-8"})
   print(json.load(urllib.request.urlopen(req))["answers"])

Je krijgt de gekozen optie, de waarschijnlijkheid van elke optie en een zekerheidsscore (confidence

• Poolse tekens in de Windows-console. Een vraag die ik met curl vanuit Git Bash verstuurde, leidde tot een UTF-8-decoderingsfout. Vanuit Python, met expliciete codering, werkt het probleemloos.
• Met gewoon ollama run kom je er niet. Het model geeft dan alleen vrije tekst terug. basal-serve berekent de getypeerde antwoorden met waarschijnlijkheden door de waarschijnlijkheden van de optiecodes voor één token uit te lezen.
• Limieten van de Ollama-modus: maximaal 20 opties per vraag en 4096 tokens per verzoek. Voor langere documenten en maximaal 255 opties raadt de maker de llama.cpp-modus aan.

llama.cpp en Mac

• llama.cpp in het proces: installeer met de extra module basal[gguf] (llama-cpp-python 0.3.36 of nieuwer) en start daarna basal-serve --model ./basal-omni-1.0-mini-GGUF --mode gguf --gguf basal-omni-1.0-mini-GGUF/basal-omni-1.0-mini-Q8_0.gguf --port 8000. Op een NVIDIA-GPU moet je llama-cpp-python bouwen met CUDA-ondersteuning. Deze variant heb ik niet getest.
• Mac met Apple Silicon: gebruik de modus --mode mlx met de extra module basal[mlx] en de -MLX-repository, of gebruik GGUF via Metal. Volgens de maker werkt mini Q8_0 op een Mac met 16 GB geheugen. Op een M4 Pro haalt de MLX-mini-versie 0,73 beslissingen per seconde bij 8 gelijktijdige verzoeken en 173 ms voor één vraag. Ook dit heb ik niet getest, want ik heb geen Mac.

Mijn test: 50 Poolse meldingen en 10 toolbeslissingen

Ik gebruikte de reeks van 13 oktober waarmee ik modellen uit de Artificial Analysis-ranglijst testte: 50 meldingen aan een webwinkel (7 afdelingen en urgentie) en 10 gesprekken waarin een assistent moet beslissen of die zelf antwoordt, een tool aanroept, een vervolgvraag stelt of weigert. De vragen en het antwoordmodel zijn hetzelfde; ik heb niets voor basal aangepast. Net als bij die eerdere test tel ik de afdelingsscore over 47 meldingen, omdat drie items in het antwoordmodel twijfelachtig bleken (meer hierover in de gids AI-beslismodellen). basal had die drie ook fout, net als alle 11 modellen op 13 oktober. De test is in het Pools uitgevoerd; de hier vertaalde voorbeelden zijn geen hertest in het Nederlands.

• De kleinste basal staat midden in het veld van grote beslismodellen via API. Eén melding beter dan Jev 1.13 en twee minder goed dan Microsoft-Decision-1 en Decider. Het model heeft 4 miljard parameters en draait op een GPU voor thuisgebruik.
• Urgentie gaat heel goed: 47 van de 50, alleen Decider en GPT-6 Luna Decisions scoorden hoger (48 elk). basal markeerde een drievoudige belasting van de kaart niet als urgent (waarschijnlijkheid 0,05), evenmin als een vonkende koffiemachine (0,34), maar bestempelde spam over cryptovaluta ten onrechte als urgent.
• Fouten bij de afdeling: een taart voor een bruiloft met de status ‘in voorbereiding’ (verkoop in plaats van bezorging), een vonkende koffiemachine (storing in plaats van klacht), een aanbod voor mailinglijsten (verkoop in plaats van spam), een terugbetaling voor een geannuleerde bestelling en een niet-werkende kortingscode.
• Controleer de zekerheidsscore met je eigen gegevens. Bij een zekerheid van minstens 0,9 had basal gelijk bij 35 van de 40 meldingen; voor Jev was dat 37 van de 39. Tot de fouten met hoge zekerheid behoren het aanbod voor mailinglijsten (0,95) en de niet-werkende kortingscode (0,97). Daarom is de nieuwe tool basal-calibrate belangrijk: die stemt de drempelwaarden af op jouw voorbeelden.
• Snelheid: mediaan 137 ms per beslissing; de eerste vraag duurde 12 seconden (het model laden in het GPU-geheugen). Ik mat de API-modellen op 13 oktober vanuit Polen, inclusief netwerkvertraging (Jev: 361 ms). Dat is dus geen directe vergelijking, maar lokaal betaal je niet per token en verlaten de gegevens je computer niet.

De test nam 20 seconden GPU-tijd in beslag. Ik deed één reeks, met één volgorde van opties en de kalibratie in het GGUF-bestand. Na de test heb ik het model uit het geheugen verwijderd.

Wanneer is basal lokaal handig?

• Gegevens mogen het bedrijf niet verlaten - bijvoorbeeld klantmeldingen, documenten en e-mail.
• Je hebt veel beslissingen waarbij je telkens iets uit een lijst kiest: afdeling, urgentie, onderwerp, of je een tekst doorlaat of welke tool je aanroept.
• Je hebt enkele honderden gelabelde voorbeelden om drempelwaarden af te stellen en alleen beslissingen met voldoende zekerheid automatisch door te laten.

Waar dit model vandaan komt en hoe het in de ranglijst presteerde, lees je in basal-omni op de eerste plaats bij open modellen in JevBench. Andere modellen die je zelf kunt draaien, vind je in het overzicht Lokale AI.

// lees verderLTX Video lokaal: open videocreatie op je eigen GPUHandleidingenbasal-omni: Remek Kinasa’s model staat bovenaan in JevBenchBenchmarksLiquid AI lanceert LFM2.5-24B-A2B: lokaal agentmodelNieuws

Kinetyra