Vals AI wil onafhankelijke standaard worden voor AI-benchmarks

TL;DR

• Wat: Startup Vals AI haalt $40 miljoen op om AI-modellen onafhankelijk te testen op echte bedrijfstaken in plaats van op openbare tests die fabrikanten kunnen 'gamen'.
• Waarom relevant: Als ondernemer kies je steeds vaker een AI-model — maar de scores op publieke ranglijsten blijken weinig betrouwbaar.
• Wat je ermee kunt: Kijk bij het selecteren van een AI-oplossing niet alleen naar benchmarkscores van de aanbieder zelf, maar zoek onafhankelijke testresultaten.

Ik viel vandaag over een bericht van TechCrunch over Vals AI, een startup die $40 miljoen heeft opgehaald om AI-benchmarking eerlijker te maken. Dat klinkt misschien als een technisch verhaal, maar het raakt iets waar iedere ondernemer die met AI werkt mee te maken heeft: hoe weet je of het model dat je kiest écht zo goed is als de fabrikant beweert?

Het probleem met AI-benchmarks

Als je vandaag een AI-model wilt kiezen voor je bedrijf — voor klantenservice, boekhouding, juridisch werk of software — dan kijk je waarschijnlijk naar ranglijsten. MMLU, GPQA, SWE-bench: het zijn namen van tests die je steeds vaker tegenkomt. Hogere score = beter model, toch?

Niet per se. Het probleem is dat veel van die tests openbaar zijn. Dat betekent dat AI-bedrijven hun modellen kunnen trainen op precies díe vragen die in de test zitten. Vergelijk het met een student die het antwoordenblad van het tentamen van tevoren heeft ingezien — de score zegt dan weinig over werkelijk begrip.

En het gaat verder dan dat. Uit onderzoek blijkt dat sommige bedrijven speciale, niet-publieke versies van hun modellen insturen voor benchmarks — versies die niet overeenkomen met wat jij als klant krijgt. Bij LMArena, een populair vergelijkingsplatform, bleek dat selectieve inzendingen scores met wel honderd punten konden opblazen. Wat mij betreft is dat een serieus probleem als je als ondernemer op basis van zulke scores beslist welk model je gaat gebruiken.

Wat Vals AI anders wil doen

Vals AI is opgericht in 2024 door Rayan Krishnan, die eerder werkte bij Microsoft en Stanford's AI-lab. Het idee: onafhankelijke, vertrouwelijke tests die AI-bedrijven niet van tevoren kunnen inzien.

Waar de meeste bestaande benchmarks openbaar zijn, houdt Vals het testmateriaal bewust geheim. Modellen worden getest op taken die economisch relevant zijn — denk aan financiële analyse, juridisch onderzoek, medische codering, softwareontwikkeling en cybersecurity. Het bedrijf publiceert de resultaten vervolgens op openbare ranglijsten, inclusief niet alleen nauwkeurigheid maar ook kosten per test en snelheid.

Het verdienmodel lijkt op dat van de SAT in Amerika (een standaard toelatingstest voor universiteiten): AI-bedrijven betalen Vals om hun modellen te laten testen. Volgens TechCrunch is de omzet dit jaar acht keer hoger dan vorig jaar. Het team groeide van acht naar vijfentwintig medewerkers in 2026, en er staan nog tien tot vijftien extra aanwervingen gepland.

De recente Series A van $40 miljoen werd geleid door Andreessen Horowitz (a16z), een van de grootste investeerders in Silicon Valley. De eerdere seed-ronde kwam van 8VC en Bloomberg Beta.

Waarom dit voor ondernemers uitmaakt

Kun je je voorstellen dat je €50.000 investeert in een AI-systeem voor je bedrijf, omdat het 'bovenaan de benchmark staat' — en vervolgens ontdekt dat die score weinig zegt over hoe het model presteert op jóúw specifieke taken?

Dat is geen hypothetisch scenario. Volgens analyses in de sector leverde 95% van enterprise AI-pilots geen meetbare impact op de winst-en-verliesrekening op. Een belangrijke reden: modellen die er op papier sterk uitzagen, presteerden in de praktijk anders.

Voor een MKB-ondernemer is dit misschien nog relevanter dan voor een groot bedrijf. Een multinational kan een intern team een model laten evalueren. Als eigenaar van een bedrijf met tien of vijftig medewerkers heb je die luxe meestal niet. Je bent afhankelijk van externe informatie — en als die informatie niet klopt, neem je een dure beslissing op basis van lucht.

Een onafhankelijke partij die modellen test op echte bedrijfstaken zou in theorie waardevolle informatie kunnen bieden. Stel dat je wilt weten welk AI-model het best presteert op financiële rapportages of juridische documenten in jouw branche — dan is een onafhankelijke score op die specifieke taak een stuk nuttiger dan een algemene kennisquiz.

Kanttekeningen die ik zie

Ik vind het eerlijk gezegd een interessant initiatief, maar er zitten een paar vragen aan die ik niet meteen beantwoord zie.

Ten eerste: Vals wordt betaald door de AI-bedrijven die het test. Dat is het SAT-model, maar het roept ook de vraag op hoe onafhankelijk je kunt zijn als je klanten tegelijk je testonderwerpen zijn. Het is niet hetzelfde als belangenverstrengeling, maar het is een dynamiek om in de gaten te houden.

Ten tweede: Andreessen Horowitz investeert zowel in Vals als in meerdere AI-bedrijven die getest zouden worden. Dat hoeft niet te betekenen dat er invloed is op de uitkomsten, maar het is goed om te benoemen.

Ten derde: het geheim houden van testmateriaal lost één probleem op (gamen van bekende vragen), maar creëert een ander: je kunt als buitenstaander niet controleren of de test zelf goed is. Je moet vertrouwen op Vals — en vertrouwen is precies wat het huidige systeem mist.

Dit zijn geen fatale bezwaren, maar het laat zien dat 'onafhankelijk benchmarken' makkelijker gezegd is dan gedaan.

Wat dit zegt over de markt

Wat mij opvalt aan dit bericht is niet zozeer Vals zelf, maar wat het signaleert over de AI-markt als geheel. Het feit dat er $40 miljoen geïnvesteerd wordt in een bedrijf dat alleen maar meet hoe goed AI-modellen zijn, zegt iets over hoeveel onzekerheid er is bij kopers.

De AI-markt lijkt op dit moment een beetje op de automarkt in de jaren zestig, vóór onafhankelijke crashtests: iedere fabrikant beweert dat zijn product het veiligst is, maar er is geen gestandaardiseerde manier om dat te controleren. Of die vergelijking helemaal opgaat weet ik niet — maar het gevoel van 'we missen iets' herken ik wel als ik met ondernemers over AI-keuzes praat.

Voor mij is dit vooral een signaal dat de AI-markt volwassener wordt. Niet omdat de technologie beter wordt — dat ook — maar omdat de infrastructuur eromheen langzaam vorm krijgt. En voor ondernemers die nu AI-beslissingen nemen, is het goed om te weten dat de scores die je ziet niet altijd het hele verhaal vertellen.