Strands Decider 2B van AWS: open beslismodel getest

👁 113 keer gelezen

Strands Decider 2B is een open beslismodel van AWS: in plaats van tekst te schrijven, kiest het een antwoord uit een opgegeven lijst en geeft het een betrouwbaarheidsscore. Het telt 2 miljard parameters, heeft een Apache-2.0-licentie en AWS publiceerde niet alleen de gewichten, maar ook de trainingsdata en scripts. Ik draaide het op een RTX 4090: het nam 3,8 GB videogeheugen in beslag en wees klanttickets in het Pools foutloos toe aan afdelingen in 135 ms. Een bredere context en vergelijking met Cloudflare Clef vind je in de gids over AI-beslismodellen.

Qwen3.5-2B als basis, Apache-2.0 en open trainingsdata

Het model werd op 1 oktober 2026 uitgebracht door het Strands Labs-team van AWS (auteurs van het bericht: Marc Brooker, Mike Chambers en Fabio Nonato de Paula). De naam is afgeleid van Strands Agents, het open-source framework van AWS voor het bouwen van agents. De belangrijkste feiten:

• Basis: Qwen3.5-2B-Base. AWS verwijderde de taalkop en voegde een pointer head toe met iets meer dan een miljoen parameters, die de verborgen toestand op de positie van elke optie evalueert.
• Finetuning: LoRA-adapter van rang 16. Op Hugging Face staat het checkpoint StrandsAgents/strands-decider-2B-hobson-v19 - de adapter is 67 MB groot, het basismodel wordt bij de eerste start automatisch gedownload (bij mij 4,3 GB).
• Licentie: Apache-2.0 voor model, code en trainingsrecept; de Qwen3.5-2B-Base-basis is eveneens Apache-2.0.
• Openheid: in de repository strands-labs/strands-decider staan de trainingscripts, een lijst van 29 publieke datasets (waaronder BANKING77, CLINC, AG News, HotpotQA) en de ruwe evaluatieresultaten.
• Installatie: pip install strands-decider levert een terminalcommando en een HTTP-server op.
• API: compatibel met het System One-formaat, oftewel dezelfde standaard die wordt gebruikt door Jev van TypeSafe, Cloudflare Clef en Kev.

Drie soorten vragen: choice, noul en score

Zoals elk beslismodel accepteert Strands Decider een status (state) en benoemde vragen van drie typen:

Het aantal opties is niet beperkt, omdat labels met de query worden meegegeven en niet vast in het model zitten gebakken. Het resultaat ontstaat in een enkele doorgang door het netwerk, zonder generatieloop. De toestand wordt eenmaal berekend en de vragen worden verwerkt op een kopie van de cache, waardoor een extra vraag nauwelijks extra tijd kost.

Resultaten volgens AWS

• JevBench (231 openbare taken): volgens de modelkaart 167 correcte antwoorden, oftewel 72,3%. AWS meldt dat dit de 3e plaats is op 33 modellen in de 2B-klasse, en de 1e plaats op 30 modellen als modellen die net iets groter zijn dan 2B worden weggelaten.
• Eenvoudige taken JevBench: 100% correct.
• Latentie: mediaan circa 115 ms op een RTX 3090, circa 153 ms op een MacBook met M3.
• Interne testsets: van 64,1% (korte taken, 6000 voorbeelden) tot 89,8% (herkennen van onbeantwoorde vragen in MuSiQue).

AWS is eerlijk over de beperkingen. Het model presteert duidelijk minder dan redeneermodellen bij complexe vraagstukken en is ongeschikt voor code, chat of samenvattingen. De modelkaart waarschuwt ook dat het model “de vraag minder goed leest dan het document”: bij dezelfde toestand en opties verandert een andere formulering van de vraag vaak niets aan het antwoord, waardoor je vragen uiterst eenduidig moet opstellen.

Mijn test: 30 Poolse supporttickets op een RTX 4090

De testset bestond uit 30 supporttickets zoals een webshop of SaaS-bedrijf die ontvangt - 5 per afdeling (betalingen, bezorging, retouren, account, storingen, verkoop). Ik heb in het Pools getest, deels zonder diakritische tekens en met typefouten. Bij elk ticket twee vragen: de afdeling en of de kwestie vandaag nog actie vereist. Hardware: RTX 4090, Windows 11, PyTorch 2.11.

• Geheugen: 3,8 GB VRAM op de piek, laadtijd van het model 16 s.
• Afdeling: foutloos in het Pools. De enige fout in het Engels was een abonnementswijziging halverwege de facturatieperiode, die het model zag als betaling in plaats van verkoop - hetzelfde geval bracht de meeste geteste modellen in verwarring.
• Urgentie in het Pools: hier kwam een calibratieprobleem aan het licht. De waarschijnlijkheid van “ja” voor de 6 daadwerkelijk urgente meldingen lag tussen 0,22 en 0,47 - geen enkele overschreed 0,5, waardoor het model bij de standaarddrempel niets als urgent markeerde. De volgorde klopte wel: bij een drempel van 0,4 stijgt het resultaat naar 26/30.
• Zekerheid per afdeling: mediaan 0,86, laagste 0,31. Ter vergelijking: het grotere Clef-flash had een mediaan van 0,97.

Op dezelfde grafische kaart classificeerde Gemma 4 12B in Ollama met geforceerde JSON eveneens 30/30, maar in 413 ms, en Llama 3.1 8B in 173 ms met een score van 25/30. De volledige vergelijking van acht modellen staat in de gids over beslismodellen.

Strands Decider of Cloudflare Clef

Ik zou kiezen voor Strands Decider wanneer het model op een laptop, een lichte server zonder zware GPU of puur op de CPU moet draaien, en wanneer je de vrijheid wilt om bij te trainen op eigen labels volgens het publieke recept. Kies Clef-flash als je beschikt over een 24GB-kaart of een kant-en-klare hostingoplossing zoekt met beeldondersteuning. Wat Cloudflare verder met AI doet, staat in het overzicht van Cloudflare.

Installeren en starten in 3 stappen

1. Installeer PyTorch (met CUDA als je een NVIDIA-kaart hebt), en voer daarna pip install strands-decider uit. Het pakket vereist transformers 5.15 of nieuwer.
2. Stel een vraag (onderstaand voorbeeld is een vertaling van het geteste Poolse origineel):

   strands-decider ask StrandsAgents/strands-decider-2B-hobson-v19 \
     --state "De koerier heeft de doos bij de buren voor de deur gezet en nu is hij weg" \
     --choice "Welke afdeling?=betalingen,bezorging,retour,account" \
     --noul "Is de klant boos?"

3. Start de server: strands-decider serve StrandsAgents/strands-decider-2B-hobson-v19 --port 8000 en stuur verzoeken naar /v1/systemone.

Onder Windows meldt transformers dat de pakketten flash-linear-attention en causal-conv1d ontbreken. Het model functioneert ook zonder (mijn 135 ms is precies in deze modus gemeten), maar draait wat langzamer dan mogelijk. De server luistert uitsluitend op 127.0.0.1 en biedt geen authenticatie - voor externe toegang moet je zelf een beveiligingslaag toevoegen. Een compleet praktijkvoorbeeld met drempelwaarden en escalatie naar menselijke medewerkers vind je in de handleiding tickets routeren met Strands Decider.

// lees verderPerplexity Decider v1.1 27B: goedkoopste beslismodelBenchmarksTickets routeren met AI: Strands Decider 2B in PythonHandleidingenAI-beslissingsmodellen: Decision Index vergelekenAI-tools

Kinetyra