Nieuwer AI-model, slechtere resultaten? Wat SOP-Bench laat zien

TL;DR

• Wat: Amazon Science publiceerde SOP-Bench, een benchmark die AI-agents test op echte bedrijfsprocedures uit 12 sectoren — en ontdekte dat nieuwere modellen soms slechter presteren dan oudere.
• Waarom relevant: als je als ondernemer overweegt om AI-agents in te zetten voor werkprocessen, wil je weten dat "nieuwer" niet automatisch "beter" betekent.
• Wat je ermee kunt: test een AI-agent altijd op jóuw specifieke werkproces voordat je upgradet of live gaat.

Ik stuitte op een tweet van Amazon Science die me direct deed stilstaan. De kernvraag: hoe kan het dat een upgrade van een AI-model je AI-agent juist slechter maakt? Het antwoord komt uit SOP-Bench, een nieuwe benchmark die AI-agents beoordeelt op echte standaard werkprocedures. En de bevindingen zijn relevant voor iedereen die nadenkt over AI in het bedrijf.

Wat is SOP-Bench precies?

SOP-Bench staat voor Standard Operating Procedure Benchmark. Het is een open-source testomgeving die is ontwikkeld door onderzoekers bij Amazon Science en gepresenteerd op ICLR 2026. Het idee erachter: bestaande benchmarks voor AI-agents meten vooral hoe goed een model een los taakje uitvoert — een vraag beantwoorden, een stukje tekst samenvatten. Maar in de echte bedrijfswereld draait het om procedures: stappen die op elkaar voortbouwen, waarbij je tussendoor tools moet gebruiken en beslissingen moet nemen op basis van de uitkomst van een vorige stap.

Denk aan het verwerken van een klacht volgens een vaste procedure, het classificeren van gevaarlijke goederen bij verzending, of het uitvoeren van een compliance-check bij een financiële instelling. Dat zijn precies de taken die in SOP-Bench zitten.

Concreet bevat de benchmark meer dan 2.000 taken uit 12 sectoren — van gezondheidszorg en logistiek tot klantenservice en contentmoderatie. Domeinexperts schreven de procedures, waarna AI hielp bij het genereren van de bijbehorende tools, API's en testdata. Alles is vervolgens door mensen gevalideerd. Het resultaat: een testomgeving met échte werkprocessen, werkende tools en bekende correcte antwoorden.

De verrassende bevinding: nieuwer is niet altijd beter

Wat mij hier het meest opvalt, is de bevinding over modelupgrades. De onderzoekers testten elf verschillende AI-modellen, waaronder verschillende versies uit de Claude-familie van Anthropic. En wat bleek? Claude 4 Opus scoorde op zogenoemde ReAct-taken — taken waarbij de agent moet redeneren én handelen — een slagingspercentage van 72,4%. Het nieuwere Claude 4.5 Sonnet kwam uit op 63,3%.

Dat is een verschil van bijna tien procentpunt. De andere kant op dan je zou verwachten.

Ik vind dit eerlijk gezegd een ontnuchterende uitkomst. We zijn gewend te denken in termen van "nieuwer = beter". Bij een software-update op je telefoon verwacht je dat dingen verbeteren, niet verslechteren. Maar bij AI-modellen is dat dus niet vanzelfsprekend. Een model kan beter worden in bepaalde vaardigheden en tegelijkertijd minder goed in het volgen van gestructureerde, meerstaps-procedures.

Voor een ondernemer die net heeft geïnvesteerd in een AI-agent voor, zeg, orderverwerking of klantenservice, is dit een belangrijk signaal. Een update van het onderliggende model kan zonder waarschuwing de prestaties van je agent veranderen.

Meer tools, minder succes

Een tweede bevinding die ik opvallend vind: meer tools aanbieden aan een AI-agent maakt het niet per se beter. De onderzoekers testten een video-annotatietaak waarbij de agent zes specifieke tools nodig had. Wanneer die zes tools beschikbaar waren, presteerde de agent redelijk. Maar wanneer diezelfde zes tools werden aangeboden samen met twintig extra tools, halveerde het slagingspercentage bijna.

Stel je voor dat je een nieuwe medewerker op de eerste werkdag een bureau geeft met zes gereedschappen die ze nodig heeft — en daarnaast nog twintig willekeurige spullen. De kans dat ze de juiste spullen pakt en efficiënt aan de slag gaat, wordt kleiner. Bij AI-agents werkt het vergelijkbaar.

Dit is relevant omdat veel AI-platforms en -leveranciers juist adverteren met het aantal integraties en tools dat beschikbaar is. "Verbind met 200+ apps!" klinkt indrukwekkend, maar SOP-Bench suggereert dat je een agent beter kunt uitrusten met precies de tools die nodig zijn voor een specifiek proces — niet meer.

Geen enkele combinatie wint overal

De derde conclusie die ik wil uitlichten: er is geen universele winnaar. Geen enkel model-agent-combinatie presteerde het best op alle procedures. De beste combinatie voor e-mailtriage (waar agents tot ~90% slaagden) was niet dezelfde als de beste voor complexe videoannotatie (waar het percentage naar ~25% zakte).

Dat klinkt misschien als een open deur — natuurlijk is het ene model beter in taak X dan taak Y. Maar de praktische implicatie is groter dan het lijkt. Het betekent dat je als ondernemer niet kunt vertrouwen op één AI-oplossing voor al je processen. Wat goed werkt voor je klantenservice hoeft niet goed te werken voor je voorraadbeheer of je factuurverwerking.

Wat dit voor het MKB betekent

In Nederland groeit de interesse in AI-agents voor het MKB snel. Platforms bieden steeds vaker kant-en-klare agents aan voor taken als leadkwalificatie, boekhouding of klantvragen. De belofte is vaak: zet het aan en het werkt. SOP-Bench laat zien dat die belofte nuance verdient.

Dat wil niet zeggen dat AI-agents geen waarde hebben — integendeel. Maar de benchmark maakt duidelijk dat je als ondernemer twee dingen serieus moet nemen:

1. Test op jouw eigen proces. Een demo met standaardvragen is geen bewijs dat de agent jouw specifieke werkwijze aankan. Kun je de agent laten draaien op een set echte cases uit je eigen bedrijf voordat je live gaat?
2. Wees voorzichtig met automatische upgrades. Als het onderliggende model van je AI-tool wordt bijgewerkt, controleer dan of de prestaties op jouw taken gelijk blijven. Vraag je leverancier hoe zij omgaan met modelwisselingen.

De benchmark is openbaar beschikbaar

SOP-Bench is open source en beschikbaar op GitHub. Dat betekent dat ontwikkelaars en onderzoekers het kunnen gebruiken om hun eigen AI-agents te testen. Voor de meeste MKB-ondernemers is het niet realistisch om zelf zo'n benchmark te draaien, maar het feit dat dit soort gestructureerde evaluaties bestaan en openbaar zijn, is waardevol. Het stelt kritische vragen aan leveranciers mogelijk: hoe scoort jullie agent op SOP-Bench? Is dat getest?

De benchmark is ook ingediend voor de KDD 2026 Datasets and Benchmarks Track, wat aangeeft dat het serieus wordt genomen in de onderzoekswereld.

Wat ik hieruit meeneem

Voor mij is dit vooral een signaal dat we voorbij het punt zijn van "AI kan veel" en toe zijn aan de vraag "hoe goed doet AI het precies op mijn werkproces?" De hype rondom AI-agents is groot, de beloftes zijn breed, maar de werkelijkheid is dat prestaties sterk afhangen van het specifieke proces, het model, en zelfs het aantal tools dat je beschikbaar stelt.

Ik vind het waardevol dat Amazon Science dit soort onderzoek publiceert en openbaar maakt. Het helpt ons als ondernemers om betere vragen te stellen — niet "welk AI-model is het beste?", maar "welk model werkt het beste voor deze taak in mijn bedrijf?" Dat is een genuanceerdere vraag, maar uiteindelijk de enige die ertoe doet.