CommerceAgentBench: een benchmark die AI-agents op echt werk test

TL;DR

• Wat: Alibaba International heeft CommerceAgentBench open-source gemaakt — een benchmark met 107 echte e-commercetaken waarmee je meet of een AI-agent daadwerkelijk zakelijk werk kan afronden.
• Waarom relevant: De meeste AI-benchmarks testen kennis, niet uitvoering. Deze test laat zien hoe ver AI-agents zijn als het gaat om het werk dat jij als ondernemer dagelijks doet.
• Wat je ermee kunt: Volg de scores om in te schatten wanneer AI-agents betrouwbaar genoeg worden voor taken als inkoop, productvermeldingen of logistiek in jouw webshop.

Ik stuitte op een tweet van @ethancole_ai over een nieuwe open-source benchmark die AI-agents niet test op kennis, maar op het uitvoeren van concreet bedrijfswerk. Dat trok mijn aandacht, want de meeste benchmarks die ik voorbij zie komen gaan over hoe goed een model een wiskundevraagstuk oplost of een tekst samenvat. Dit gaat over iets anders: kan een AI-agent een product publiceren op een webshop, een offerte aanvragen bij een leverancier, of een vrachtboeking afronden?

Wat is CommerceAgentBench precies?

CommerceAgentBench is ontwikkeld door het Accio-team binnen Alibaba International en open-source beschikbaar op GitHub. Het bevat 107 taken die zijn gemodelleerd naar echte e-commerceprocessen. Denk aan: producten publiceren op een webshop, leveranciers analyseren, logistieke boekingen verwerken en spreadsheets produceren.

De taken zijn verdeeld over vier categorieën:

• 53 CLI-taken — opdrachten via een commandoregel (vergelijkbaar met het invoeren van gestructureerde instructies)
• 28 browsertaken — navigeren en handelen op websites, zoals een mens dat zou doen
• 16 bestandstaken — documenten en spreadsheets maken of bewerken
• 10 API/MCP-taken — communiceren met externe systemen via gestandaardiseerde koppelingen

Wat ik interessant vind: elke taak draait in een verse, geïsoleerde omgeving. Er worden nagebouwde kopieën van echte commerceplatformen gebruikt, zodat je geen productie-accounts nodig hebt. Na afloop wordt automatisch gecontroleerd of de taak daadwerkelijk correct is afgerond — niet of het antwoord "goed klinkt", maar of het resultaat klopt.

Waarom is dit anders dan andere benchmarks?

De meeste AI-benchmarks stellen een vraag en kijken of het antwoord correct is. Dat is nuttig, maar het zegt weinig over hoe goed een AI-agent presteert wanneer er meerdere stappen nodig zijn, wanneer er tussendoor iets fout kan gaan, en wanneer het resultaat een concreet bedrijfsresultaat moet zijn.

CommerceAgentBench test zogenaamde long-horizon workflows — taken die meerdere opeenvolgende handelingen vereisen. Vergelijk het met het verschil tussen iemand vragen "Wat is de hoofdstad van Frankrijk?" en iemand vragen een complete verhuizing naar Parijs te organiseren: hotel boeken, vervoer regelen, documenten verzamelen. Dat tweede is wat deze benchmark probeert te meten.

Ik vind het eerlijk gezegd opvallend dat dit pas nu gebeurt. E-commerce is een van de meest gestructureerde bedrijfsdomeinen die er bestaan — met duidelijke stappen, meetbare resultaten en veel herhaling. Als je AI-agents ergens op wilt testen, is dit een logisch startpunt.

Hoe presteren de huidige AI-modellen?

De scores zijn verhelderend. Volgens de resultaten op de GitHub-pagina van het project scoort het best presterende model, Claude Opus 5, circa 61 procent. Claude Opus 4.8 zit rond de 53 procent en GPT-5.6 Sol haalt ongeveer 50 procent.

Laat die cijfers even landen. Het beste model rondt zes op de tien taken succesvol af. Dat klinkt misschien als een mager cijfer, maar bedenk dat dit gaat om complete, meerstaps-werkprocessen — niet om losse vragen. Tegelijkertijd betekent het ook dat bij vier op de tien taken iets misgaat. Voor een ondernemer die overweegt om dit soort taken te automatiseren is dat een belangrijk gegeven.

Wat mij opvalt is dat de scores variëren afhankelijk van de harness die wordt gebruikt — zeg maar: de manier waarop het model wordt aangestuurd. Dat suggereert dat niet alleen het model zelf telt, maar ook hoe je het inricht en welke tools je eraan koppelt.

Wie zit erachter — en waarom?

Accio is onderdeel van Alibaba International Digital Commerce Group. In maart 2026 lanceerden ze Accio Work, een AI-agentplatform dat specifiek gericht is op het MKB. Volgens berichten in onder andere TechNode en de South China Morning Post kan het platform taken uitvoeren als marktanalyse, productlijsten opstellen en een webshop opzetten — naar eigen zeggen binnen dertig minuten.

Het is goed om te beseffen dat Alibaba hier dus zowel de benchmark als het platform levert. Dat is niet per se een probleem — de benchmark is open-source en andere partijen kunnen er modellen op testen — maar het is een context die je in je achterhoofd moet houden. Een bedrijf dat de meetlat maakt, heeft invloed op wat er gemeten wordt.

Wat doet Accio Work concreet?

Volgens de beschikbare informatie richt Accio Work zich op:

• Inkoop en leverancierscommunicatie — offertes aanvragen, onderhandelen met leveranciers
• Compliance — btw-aangiftes, douanedocumentatie voor meer dan honderd markten
• Webshopbeheer — productvermeldingen, winkelinrichting
• Marketing en logistiek — automatisering via kanalen als Telegram en WhatsApp

Kun je je voorstellen wat dit zou betekenen als je als MKB-ondernemer producten inkoopt uit Azië en verkoopt via je eigen webshop? De belofte is dat een AI-agent een deel van dat operationele werk kan overnemen. De benchmark laat zien hoe ver die belofte op dit moment reikt — en waar de grenzen liggen.

Wat betekent dit voor je als ondernemer?

Ik denk dat de waarde van CommerceAgentBench niet zit in de huidige scores, maar in het feit dat er nu een gestandaardiseerde manier is om te meten of AI-agents echt werk kunnen doen. Tot nu toe was het vaak: een demo zien, onder de indruk zijn, en dan in de praktijk merken dat het toch niet zo soepel gaat.

Met een open benchmark kunnen onafhankelijke partijen modellen vergelijken op taken die er voor bedrijven toe doen. Niet "hoe goed schrijf je een gedicht?", maar "kun je een product correct publiceren op een platform met alle juiste specificaties?"

Dat gezegd hebbende: een slagingspercentage van 61 procent bij het beste model betekent dat volledige automatisering van dit soort taken nog niet aan de orde is. Wat wél realistisch lijkt, is dat AI-agents steeds beter worden als assistent — het voorwerk doen, concepten aanleveren, routinetaken afhandelen — terwijl een mens de controle houdt.

Voor mij is dit vooral een signaal dat de AI-wereld langzaam verschuift van "kijk wat het model kan" naar "meet of het model het ook echt doet." En dat is, wat mij betreft, precies de verschuiving die nodig is voordat je als ondernemer er serieus op kunt bouwen.

Sources:

• CommerceAgentBench op GitHub
• TechNode: Alibaba International launches Accio Work
• South China Morning Post: Alibaba unveils AI agent platform
• Accio Work platform