Mistral Large 4 scoort hoog op kantoorautomatisering-benchmark

TL;DR

• Wat: Mistral AI claimt dat hun nieuwe model Mistral Large 4 met 59,9% het best scoort op AutomationBench, een benchmark die AI-modellen test op het automatiseren van kantoorwerk in apps als Gmail, Slack en Salesforce.
• Waarom relevant: Als AI-modellen steeds beter worden in het zelfstandig uitvoeren van werkprocessen over meerdere apps heen, verandert dat wat je als ondernemer kunt uitbesteden aan software.
• Wat je ermee kunt: Volg hoe onafhankelijke leaderboards deze score bevestigen voordat je er toolkeuzes op baseert — zelfgerapporteerde cijfers vertellen niet het hele verhaal.

Mistral AI presenteerde op 6 oktober 2026 hun nieuwe model: Mistral Large 4, bijgenaamd "le Chonk." Wat mij opviel in de aankondiging was niet zozeer het model zelf — met een biljoen parameters is het indrukwekkend groot — maar de manier waarop ze hun prestatie op AutomationBench naar voren schuiven. Ik wilde begrijpen wat die score werkelijk betekent voor iemand die een bedrijf runt.

Wat is AutomationBench eigenlijk?

AutomationBench is een benchmark die in april 2026 werd gelanceerd door Zapier, het bedrijf achter de populaire automatiseringsplatform. Het idee: test of een AI-model daadwerkelijk zakelijke werkprocessen kan uitvoeren — niet in theorie, maar in gesimuleerde versies van echte applicaties.

Concreet gaat het om 657 taken verspreid over zes bedrijfsdomeinen: Finance, HR, Marketing, Operations, Sales en Support. De AI moet werken in 40 nagebootste apps, waaronder Gmail, Google Sheets, Slack, Salesforce, Zendesk, Jira en HubSpot. Het model communiceert via REST API's — dezelfde technische interfaces die softwaresystemen in het echt gebruiken om met elkaar te praten.

Wat ik bijzonder vind aan deze benchmark: het gaat niet alleen om "lukt het de AI om de taak af te ronden?" Er zitten bijna 12.000 geautomatiseerde controles in die checken of de juiste data in de juiste systemen is terechtgekomen. En — dit is cruciaal — de AI wordt ook beoordeeld op het naleven van bedrijfsregels. Stel dat je een automatisering hebt die klantgegevens verplaatst van een supportticket naar je CRM. Als het model dat doet maar daarbij privacyregels overtreedt, telt dat als een fout. Dat lijkt me eerlijk gezegd een stuk realistischer dan veel andere benchmarks die ik voorbij zie komen.

De claim van Mistral: 59,9%

Volgens Mistral's eigen aankondiging scoort Mistral Large 4 een 59,9% op AutomationBench en eindigt het daarmee boven Kimi K3, MiMo-V2.6-Pro en DeepSeek V4 Pro.

Laat me daar meteen iets bij zeggen: die vergelijking is selectief. Mistral vergelijkt zich hier met drie andere modellen, maar noemt niet hoe het scoort ten opzichte van Claude, GPT of Gemini — modellen die op onafhankelijke versies van dezelfde benchmark doorgaans bovenaan staan.

Wat de onafhankelijke leaderboards laten zien

Op het moment van schrijven toont Zapier's eigen publieke leaderboard Gemini 4 Argon op de eerste plek met 51,29%, gevolgd door Claude Sonnet 5.5 met 44,75%. Mistral Large 4 is daar nog niet zichtbaar — mogelijk omdat het model net is aangekondigd en nog niet onafhankelijk is geëvalueerd.

De onafhankelijke AutomationBench-AA, uitgevoerd door Artificial Analysis in samenwerking met Zapier, toonde eerder Claude Fable 5 en Opus 4.8 als koplopers rond de 48,5%.

Dat roept een vraag op: als de best presterende modellen op onafhankelijke evaluaties rond de 50% scoren, hoe komt Mistral dan op bijna 60%? Mogelijke verklaringen zijn dat Mistral een andere versie van de benchmark gebruikt, of een eigen evaluatieopzet hanteert. Ik wil daar geen oordeel aan hangen — maar het is wel iets om in het achterhoofd te houden. Zelfgerapporteerde benchmarkscores zijn in de AI-wereld geen ongebruikelijk marketinginstrument.

Waarom dit relevant is voor ondernemers

Los van de vraag wie er precies bovenaan staat, vind ik de richting hier interessant. AutomationBench test iets wat voor veel MKB-bedrijven heel herkenbaar is: het jongleren tussen systemen.

Kun je je voorstellen wat het betekent als een AI-model zelfstandig een workflow kan uitvoeren die nu handmatig gaat? Denk aan: een lead komt binnen via een formulier, moet in je CRM, er moet een e-mail uit, een Slack-notificatie naar het salesteam, en een rij in een spreadsheet voor je weekoverzicht. Dat zijn nu vier tot vijf handmatige stappen of een zorgvuldig opgezette Zapier-flow. De belofte van deze modellen is dat een AI-agent dat zelfstandig kan orkestreren.

Maar: elk model overtreedt bedrijfsregels

En hier wordt het eerlijk gezegd wat ontnuchterend. Uit de onafhankelijke evaluatie van Artificial Analysis blijkt dat elk getest model bedrijfsregels overtreedt — gemiddeld tussen de 0,46 en 1,26 overtredingen per taak. Dat betekent: als je een AI-agent loslaat op je bedrijfsprocessen zonder menselijke controle, is de kans reëel dat er data op de verkeerde plek belandt of dat privacyregels worden geschonden.

Voor een ondernemer is dat wat mij betreft de belangrijkste takeaway. De technologie wordt indrukwekkend snel beter, maar "beter" betekent nog niet "betrouwbaar genoeg om zonder toezicht te draaien."

Mistral Large 4 in breder perspectief

Mistral Large 4 is een model met een biljoen parameters waarvan er 49 miljard actief zijn — het werkt met een zogenaamd mixture-of-experts architectuur, wat betekent dat niet het hele model tegelijk draait maar alleen de relevante onderdelen. Het is getraind op 3.800 NVIDIA-chips in Europese datacenters, wat voor sommige ondernemers relevant kan zijn vanuit het oogpunt van datasoevereiniteit.

De prijsstelling ($1,36 per miljoen invoertokens, $4,18 per miljoen uitvoertokens) plaatst het in het middensegment. Het model ondersteunt meer dan 160 talen, waaronder alle officiële EU-talen — en dus ook Nederlands.

Mistral heeft aangekondigd dat de open weights — de modelgewichten waarmee ontwikkelaars het model zelf kunnen draaien en aanpassen — eind oktober 2026 beschikbaar komen. Dat is relevant voor bedrijven die hun AI-toepassingen op eigen infrastructuur willen draaien.

Een nuchtere observatie

Ik vind het oprecht interessant dat er nu een benchmark bestaat die AI-modellen test op iets dat zo dicht bij dagelijks kantoorwerk staat. Niet "los dit wiskundeprobleem op" of "schrijf een essay," maar "verwerk deze lead van Gmail naar Salesforce zonder de bedrijfsregels te overtreden." Dat is een stap in de richting van bruikbare vergelijkingen.

Tegelijkertijd is 59,9% — zelfs als die score klopt — nog steeds een onvoldoende als je het vertaalt naar schoolcijfers. Vier van de tien bedrijfsworkflows mislukken. Dat is prima voor een experiment, maar niet voor een proces waar je blindelings op vertrouwt.

Voor mij is dit vooral een signaal dat de wedloop in AI zich verplaatst van "wie schrijft de beste tekst" naar "wie kan het beste samenwerken met bedrijfssoftware." En dat is uiteindelijk de wedloop die er voor ondernemers toe doet.