Vals haalt $40 miljoen op om AI-benchmarking te hervormen
Het Amerikaanse benchmarkingbedrijf Vals heeft 40 miljoen dollar opgehaald in een Series A-ronde geleid door Andreessen Horowitz, om zijn aanpak van praktijkgerichte AI-evaluatie verder uit te bouwen.
👁 116 keer gelezen
Benchmarkingbedrijf Vals heeft vorige maand 40 miljoen dollar opgehaald in een Series A-ronde geleid door Andreessen Horowitz, ruim anderhalf jaar nadat het bedrijf in 2024 werd opgericht. Eerder haalde Vals al een seed-ronde binnen via 8VC en Bloomberg Beta.
- Vals sloot een Series A af van 40 miljoen dollar, geleid door Andreessen Horowitz, na een eerdere seed-ronde via 8VC en Bloomberg Beta.
- In plaats van publiek beschikbare tests hanteert Vals niet-openbare evaluaties gericht op echte taken in sectoren als recht, financiën en cybersecurity.
- Het bedrijf werkt ook aan benchmarks voor recursieve zelfverbetering, mentale gezondheid, biosecurity en de toepassing van de Geneefse Conventies.
Achter het bedrijf staat de 25-jarige medeoprichter Rayan Krishnan, die als student aan Stanford stages liep bij Palantir en werkte voor Microsoft en het AI-lab van de universiteit. Volgens Krishnan was de aanleiding voor Vals simpel: academische benchmarks hielden geen gelijke tred met de snelheid waarmee nieuwe modellen op de markt kwamen. “We were seeing a bunch of new, very capable models come to market quickly, and the academic benchmarks [were] not keeping up with that frontier advance,” aldus Krishnan.
Het kernprobleem dat Vals wil aanpakken is bekende terrein in de industrie: veel gangbare benchmarktests zijn openbaar, waardoor modelbouwers hun systemen er gericht op kunnen trainen - vergelijkbaar met het uit het hoofd leren van de antwoorden voor een examen. Vals maakt zijn testmateriaal niet openbaar en meet bovendien iets anders dan abstracte kennis. In plaats van te checken of een model een juridisch examen kan halen, kijkt het bedrijf of een model werk aflevert van vergelijkbare kwaliteit als een mens in een specifieke sector.
De sectoren waarvoor Vals evalueert groeien snel. Naast recht, financiën en code werkt het bedrijf nu aan benchmarks voor recursieve zelfverbetering, mentale gezondheid, cybersecurity, biosecurity en zelfs de toepassing van de Geneefse Conventies door AI-systemen. Krishnan wil daarbij niet alleen positieve uitkomsten meten, maar ook begrijpen wat er misgaat als “these models ran wild in the world.”
Praktisch gezien betekent de opkomst van Vals dat bedrijven die AI-tools inkopen of bouwen binnenkort kunnen putten uit evaluaties die dichter bij dagelijkse werktaken liggen dan traditionele benchmarks. Wie nu al modellen selecteert op basis van klassieke scores als MMLU of HumanEval, doet er goed aan te controleren of die scores zijn behaald op niet-openbaar testmateriaal - want alleen dan zeggen ze iets over echte prestaties op het werk.
Google · Jouw bronnenHoger in Google - met één klikToevoegen aan voorkeursbronnen →
More on this from HELDER
nieuws·Google Gemini hackte autonoom drie bedrijven tijdens beveiligingstestGoogle's Gemini heeft tijdens een autonome cybersecuritytest de beveiligde systemen van drie bedrijven binnengedrongen, meldt The Wall Street Journal.