Benchmark

Een benchmark is een gestandaardiseerde test voor het vergelijken van modellen: een set taken uit wiskunde, algemene kennis, programmeren of taalbegrip, waarbij elk model een puntscore krijgt. Dankzij benchmarks kun je zeggen dat model X beter presteert in code dan Y. Resultaten moet je met een korreltje zout nemen: populaire tests "lekken" na verloop van tijd naar trainingsdata, en makers optimaliseren modellen voor de meetwaarden. Daarom groeien naast klassieke benchmarks ook rankings gebaseerd op blinde menselijke beoordelingen en privétests - en de beste benchmark blijft je eigen taak.