Waarom AI-benchmarks niet zo makkelijk te gamen zijn

TL;DR

• Wat: Nieuw onderzoek van Amazon Science laat zien dat AI-modellen nauwelijks overfitting vertonen op benchmarks, omdat werkende strategieën zo compact zijn dat ze niet ruimte laten voor vals spel.
• Waarom relevant: Als ondernemer die AI-tools inzet, wil je weten of die benchmarkscores op de verpakking ook echt iets zeggen over prestaties in de praktijk.
• Wat je ermee kunt: Kijk bij het kiezen van AI-tooling niet alleen naar de hoogste score, maar vraag of de leverancier kan uitleggen hóé het model tot die score komt — eenvoud is een goed teken.

Ik viel over een bericht van Amazon Science dat een vraag beantwoordt die ik eigenlijk al langer had: als iedereen in de AI-wereld steeds dezelfde toetsen gebruikt om modellen te meten, waarom scoort dan niet alles vals hoog? Onderzoekers Martin Andres Bertran, Aaron Roth en Zhiwei Steven Wu leggen uit waarom dat mechanisme zichzelf beschermt — en hun verklaring is verrassend elegant.

Eerst even: wat is overfitting?

Stel je voor dat je een medewerker traint voor een examen. Je geeft diegene steeds dezelfde oefentoets. Op een gegeven moment kent die persoon de antwoorden uit het hoofd, maar begrijpt het onderwerp niet echt. Dat is overfitting: hoog scoren op de test, maar falen zodra de echte wereld net even anders is.

In de AI-wereld worden modellen jarenlang getest op dezelfde benchmarks — gestandaardiseerde meetlatten voor taal, beeld, logica en meer. Volgens de leerboeken zou dat moeten leiden tot overfitting. Modellen die de toets kennen in plaats van de stof beheersen. Maar dat gebeurt grotendeels niet. De vraag is: waarom niet?

De compressie-verklaring

Het onderzoek, gepubliceerd als "What Fits (Into Few Tokens) Doesn't Overfit", introduceert een helder idee. De onderzoekers stelden vast dat strategieën die écht werken — die dus ook generaliseren naar nieuwe, onbekende data — zich laten beschrijven in weinig woorden. Ze zijn compact. Simpel, als je wilt.

Strategieën die overfitten, dus die alleen werken op die ene specifieke toets, zijn juist complex. Ze bevatten allerlei specifieke uitzonderingen en trucjes die precies passen op de testdata. En hier zit het slimme: zodra je een compressie-bottleneck introduceert — een soort filter dat alleen korte, bondige beschrijvingen doorlaat — overleven die complexe, overfittende strategieën het niet.

Ik vind dat een mooie parallel met hoe we in het bedrijfsleven vaak denken. Als iemand een werkwijze in twee zinnen kan uitleggen, is de kans groot dat het robuust is. Als het een heel handboek vol uitzonderingen nodig heeft, is het waarschijnlijk fragiel.

Hoe ze dit hebben getest

De onderzoekers hebben een slim experiment opgezet met twee AI-agents:

De verkenner

Een AI-agent die modellen bouwt en test op validatiedata. Deze agent zoekt naar de best presterende aanpak.

De reproduceerder

Een tweede agent die alleen een korte beschrijving krijgt — een beknopte prompt — plus de trainingsdata. Geen toegang tot de validatiedata. De vraag: kan deze agent de goede resultaten reproduceren met alleen die compacte instructie?

Het antwoord: ja. Over acht verschillende datasets — van tabellen en beeldherkenning tot taalmodellen en diffusiemodellen — bleek een korte prompt voldoende om goed presterende modellen na te bouwen. De compressie-bottleneck had nauwelijks effect op de prestaties.

Maar, en dit is wat mij betreft het sterkste bewijs: toen de onderzoekers opzettelijk overfitting aanbrachten, lukte het de reproduceerder níét om die resultaten na te bouwen vanuit een korte prompt. De overfitting overleefde de compressie niet. Precies wat de theorie voorspelde.

Wat betekent dit voor jou als ondernemer?

Oké, dit is fundamenteel onderzoek. Geen tool die je morgen kunt installeren. Maar ik denk dat er wel degelijk iets praktisch in zit.

Als je AI-tools evalueert voor je bedrijf — of dat nu een chatbot is, een voorspelmodel voor je voorraad, of een systeem dat facturen verwerkt — dan kijk je waarschijnlijk naar prestatiescores. "Ons model scoort 95% nauwkeurigheid op benchmark X." Dit onderzoek suggereert dat zulke scores betrouwbaarder zijn dan je misschien denkt, juist omdát de aard van goede oplossingen beschermt tegen vals spel.

Tegelijkertijd geeft het je een bruikbare vuistregel: als een leverancier de werking van een AI-oplossing in heldere, eenvoudige termen kan uitleggen, is dat een positief signaal. Als de uitleg steeds complexer wordt met allerlei voorbehouden en uitzonderingen, dan zou ik als ondernemer juist extra kritisch worden. Niet omdat complexiteit per se slecht is, maar omdat dit onderzoek laat zien dat robuuste oplossingen zich kenmerken door eenvoud.

Kanttekeningen

Ik wil eerlijk zijn over de beperkingen die ik zie. Het onderzoek is getest op acht datasets. Dat is een degelijke basis, maar voor zo'n brede claim — "benchmarks zijn inherent beschermd tegen overfitting" — zou ik graag meer bewijs zien over langere periodes en meer domeinen. Het artikel van AI Weekly merkt ook op dat het onderzoek weinig zegt over specifieke drempelwaarden: hoeveel compressie is genoeg? Dat blijft voorlopig een open vraag.

Daarnaast is het onderzoek afkomstig van onderzoekers geaffilieerd aan Amazon. Dat maakt het niet minder waardevol — het is peer-reviewbaar en openbaar beschikbaar — maar het is goed om te weten dat Amazon zelf een groot belang heeft bij het vertrouwen in benchmarkscores, gezien hun eigen AI-producten.

Eenvoud als kwaliteitskenmerk

Wat mij het meest bijblijft aan dit onderzoek, is eigenlijk geen technisch inzicht maar een principe: wat echt werkt, laat zich kort beschrijven. Dat geldt blijkbaar niet alleen voor bedrijfsprocessen of communicatie, maar ook voor de algoritmen die steeds meer beslissingen in ons werk ondersteunen.

Voor mij is dit vooral een bevestiging dat eenvoud geen teken van oppervlakkigheid is — het is eerder een teken dat je iets fundamenteels te pakken hebt.