Decision Index v1.0 gelanceerd door Artificial Analysis
Artificial Analysis lanceert de Decision Index v1.0 voor decision models, met Jev 1.13 aan kop gevolgd door GLiDE en Microsoft-Decision-1.
👁 113 keer gelezen
Op 13 oktober 2026 publiceerde Artificial Analysis de Decision Index v1.0, de eerste onafhankelijke benchmark voor zogeheten decision models. Dit zijn gespecialiseerde modellen die gestructureerde vragen beantwoorden in een enkele aanroep. In plaats van tekst te genereren, leveren ze direct een waarschijnlijkheid voor elke vooraf gedefinieerde optie. De benchmark evalueerde elf beslissingsmodellen en vergeleek de prestaties met generatieve taalmodellen via structured outputs.
Samenstelling van de benchmark
De index bestaat uit vier gelijk gewogen onderdelen die elk 25 procent van de eindscore bepalen. AA-Omniscience-Decision test 500 private kennisvragen met vijf opties, waarbij de helft van de score kijkt naar nauwkeurigheid en de andere helft naar het percentage foute antwoorden waarin het model aangeeft het niet te weten. HLE-MultiChoice bevat 513 meerkeuzevragen uit Humanity’s Last Exam. When2Call van NVIDIA meet of een model direct antwoordt, een tool aanroept, om opheldering vraagt of weigert. WildGuardTest van Ai2 meet classificatie van schadelijke verzoeken en antwoorden op basis van de gemiddelde F1-score.
Resultaten en vergelijking
Volgens de gegevens van Artificial Analysis op 13 oktober 2026 leidt Jev 1.13 van TypeSafe de ranglijst met een indexscore van 57,5, gevolgd door GLiDE van Fastino Labs met 53,9 en Microsoft-Decision-1 met 53,8. Decider v1.1 27B van Perplexity noteert 53,1 en Mercury Decide van Inception haalt 52,7. De snelste verwerking komt van Celeris-1 Decision met een mediane latency van 63 ms bij een score van 52,3.
| Model | Index | Kosten per 1M taken | Mediane tijd |
|---|---|---|---|
| Jev 1.13 | 57,5 | $41,5 | 127 ms |
| GLiDE | 53,9 | $119,0 | 217 ms |
| Microsoft-Decision-1 | 53,8 | $30,7 | 207 ms |
| Decider v1.1 27B | 53,1 | $16,5 | 170 ms |
| Claude Haiku 5.5 (low) | 60,6 | $184,0 | 1434 ms |
Generatieve modellen zoals Claude Haiku 5.5 behalen een hogere totaalscore van 60,6, maar vergen aanzienlijk meer rekentijd en budget. Vergeleken met Jev 1.13 scoort Claude Haiku 5.5 circa 3 punten hoger, maar het model is volgens Artificial Analysis 11 keer trager met 1434 ms en 4,4 keer duurder per taak. Bij beslissingsmodellen wordt uitsluitend input gefactureerd, terwijl taalmodellen afrekenen op invoer en uitvoer.
Artificial Analysis merkt op dat alle geteste beslissingsmodellen kampen met overmoed op het gebied van kennis en logisch redeneren. Op specifieke deeltaken zoals When2Call en WildGuardTest is de kalibratie volgens de onderzoekers relatief goed. Op HLE-MultiChoice behaalde Jev 1.13 een score van 20,9, tegenover maximaal 15,4 voor alle overige beslissingsmodellen.
Meer: AI-beslissingsmodellen - Decision Index-ranglijst, prijzen en tests
More on this from HELDER
