Mistral Large 4 scoort best van alle open modellen op juridische AI-test

TL;DR

• Wat: Mistral Large 4 eindigt als beste open-weight model op Harvey's Legal Agent Benchmark, een test die meet hoe goed AI juridisch werk uitvoert.
• Waarom relevant: Open-weight modellen kun je zelf draaien — dat maakt juridische AI toegankelijker en betaalbaarder voor kleinere organisaties.
• Wat je ermee kunt: Volg of open juridische AI-modellen snel genoeg verbeteren om ze in jouw bedrijfsprocessen in te zetten voor contractwerk of documentanalyse.

Mistral, het Franse AI-bedrijf, deelde deze week dat hun nieuwste model — Mistral Large 4 — als beste open-source model scoort op Harvey's Legal Agent Benchmark. Ik vond dat opvallend, niet omdat het model de absolute nummer één is (dat is het niet), maar omdat het laat zien hoe snel open modellen de gesloten concurrentie naderen op een heel specifiek en veeleisend terrein: juridisch werk.

Wat is Harvey's Legal Agent Benchmark?

Harvey is een Amerikaans AI-bedrijf dat zich volledig richt op de juridische sector. Hun Legal Agent Benchmark (LAB) is een test die meet hoe goed een AI-agent écht juridisch werk kan doen. Geen meerkeuzevragen, geen simpele samenvattingen — maar complete taken zoals je die op een advocatenkantoor tegenkomt.

De benchmark bevat meer dan 1.200 taken verspreid over 24 juridische vakgebieden. Een AI-agent krijgt toegang tot zes tools waarmee het bestanden kan lezen, bewerken, doorzoeken en aanmaken — inclusief Word-documenten, Excel-bestanden en PowerPoint-presentaties. Het gaat dus om het soort werk dat een junior jurist of juridisch medewerker dagelijks doet: contracten nalopen, documenten opstellen, informatie uit dossiers halen.

Wat ik hier interessant vind: dit is geen theoretische test. Het simuleert werkelijk juridisch bureauwerk. En dat maakt de resultaten des te veelzeggender.

De scores: veelbelovend én ontnuchterend

Laat ik eerlijk zijn over de cijfers, want die vertellen twee verhalen tegelijk.

Mistral Large 4 staat op plek 6 van 75 geteste modellen, met een score van 15,83%. Daarmee is het het best presterende open-weight model — een model waarvan de gewichten straks publiek beschikbaar komen, zodat je het in principe zelf kunt draaien of aanpassen.

De top 10 van de ranglijst

Het eerste verhaal: Mistral Large 4 verslaat op deze test gesloten modellen van grote spelers. Het scoort gelijk aan Grok 4.6 en hoger dan Kimi K3. Dat is knap voor een model dat straks vrij beschikbaar wordt.

Het tweede verhaal: zelfs het beste model — Muse Spark 1.2 — haalt slechts 25,42%. Dat betekent dat driekwart van de juridische taken niet volledig wordt afgerond. Geen enkel model komt ook maar in de buurt van wat je van een menselijke jurist zou verwachten. Ik vind het goed om dat erbij te zeggen, want anders ontstaat er een beeld dat niet klopt.

Wat maakt Mistral Large 4 bijzonder?

Het model heeft 1 biljoen parameters, waarvan er 49 miljard tegelijk actief zijn — een zogeheten mixture-of-experts architectuur. Vergelijk het met een groot kantoor waar veel specialisten werken, maar per vraag alleen de relevante experts aan tafel zitten. Dat houdt het model efficiënt ondanks zijn omvang.

Open gewichten en Europese oorsprong

Wat mij als Europese ondernemer opvalt: Mistral is een Frans bedrijf en benadrukt dat hun Europese deployment volledig onder Europees recht valt, onafhankelijk van andere digitale dienstverleners. Voor bedrijven die met gevoelige (juridische) data werken, is dat een relevant punt.

De open gewichten worden voor het einde van oktober 2026 vrijgegeven. Dat betekent dat bedrijven, juridische dienstverleners of techpartijen het model kunnen downloaden, aanpassen en op eigen servers draaien. Je bent dan niet afhankelijk van een API van een Amerikaans of Chinees bedrijf.

Prijsstelling

Via de API kost het model $1,36 per miljoen invoertokens en $4,18 per miljoen uitvoertokens. Om dat in perspectief te plaatsen: een gemiddeld contract van vijf pagina's bevat ruwweg 2.000 tot 3.000 tokens. Je kunt dus honderden contracten laten analyseren voor minder dan een euro aan modelkosten.

Wat betekent dit voor een ondernemer?

Je hoeft geen advocatenkantoor te runnen om hier iets aan te hebben. Als ondernemer heb je regelmatig te maken met contracten, leveringsvoorwaarden, huurovereenkomsten, of arbeidscontracten. De vraag is: kun je AI inzetten om dat soort documenten sneller te doorgronden?

Uit recent onderzoek blijkt dat 92% van de juridische professionals al minstens één AI-tool gebruikt in hun dagelijks werk. In Nederland zijn advocaten bovengemiddeld positief: 65% ziet AI als gunstig voor hun vak. Steeds meer routinewerk — contractbeheer, standaardcontroles — wordt door AI afgehandeld.

Kun je je voorstellen wat dat betekent als je als MKB'er jaarlijks duizenden euro's kwijt bent aan juridisch advies voor relatief standaardwerk? Open modellen zoals Mistral Large 4 maken het in principe mogelijk om een eigen juridische assistent te draaien, zonder dat je data naar een externe cloud stuurt.

Maar — en dit is belangrijk — de benchmarkscores laten ook zien dat je er nog niet blind op kunt vertrouwen. Bij 15,83% taakvoltooing wil je een mens die meekijkt. Het is een hulpmiddel, geen vervanging.

De juridische AI-race is nog jong

Wat mij het meest bijblijft aan deze benchmark is niet zozeer de prestatie van Mistral, maar het feit dat geen enkel model boven de 26% uitkomt. Juridisch werk is kennelijk een van de moeilijkste domeinen voor AI — en dat is eigenlijk logisch. Het vereist precisie, contextbegrip, omgang met ambiguïteit, en het vermogen om met meerdere documenten tegelijk te werken.

Ik denk dat we over een jaar terugkijken op deze scores en ze laag vinden. Maar voor nu is het een nuttige realiteitscheck. AI kan al veel, maar volledig zelfstandig juridisch werk afleveren zit er nog niet in.

Voor mij is dit vooral een signaal dat de gereedschapskist voor ondernemers snel groeit — ook op terreinen waar je het misschien niet verwacht. En dat een Europees bedrijf daarin vooroploopt onder de open modellen, vind ik een ontwikkeling die het volgen waard is.