Documentextractie met AI: bewijs leveren blijkt nog lastig

TL;DR

• Wat: LlamaIndex publiceerde ExtractBench, een benchmark die meet of AI-systemen voor documentextractie niet alleen de juiste waarde ophalen, maar ook kunnen aanwijzen waar die waarde in het document staat.
• Waarom relevant: Als je facturen, contracten of formulieren automatisch laat verwerken, wil je kunnen controleren of de uitkomst klopt — en dat blijkt bij de meeste systemen niet mogelijk.
• Wat je ermee kunt: Vraag je huidige of toekomstige extractie-leverancier of het systeem bronverwijzingen ("grounding") per veld levert, en test dat zelf op langere documenten.

Ik kwam een tweet tegen van LlamaIndex over een nieuwe benchmark voor documentextractie, en wat mij triggerde was niet het gebruikelijke "ons model scoort het best"-verhaal. Het was de vraag die eronder zit: als een AI-systeem een waarde uit je document haalt, kan het dan ook aanwijzen waar het die vandaan heeft? Dat klinkt als een detail, maar voor ondernemers die documenten automatisch laten verwerken is het een vrij fundamentele vraag.

Wat is ExtractBench precies?

ExtractBench is een open benchmark die documentextractie-systemen beoordeelt. Documentextractie betekent: gestructureerde gegevens ophalen uit ongestructureerde documenten. Denk aan het automatisch uitlezen van bedragen op facturen, namen uit contracten, of regels uit douaneformulieren.

De benchmark bevat 370 zakelijke documenten (4.869 pagina's) uit acht sectoren — van financiën tot gezondheidszorg — en 67 verschillende documenttypen. Er zijn veertien systemen getest, van grote taalmodellen (zoals GPT-4o en Gemini) tot gespecialiseerde extractie-API's en LlamaIndex' eigen LlamaExtract.

Wat ExtractBench anders maakt dan eerdere benchmarks is dat het niet alleen kijkt naar of de juiste waarde wordt opgehaald, maar ook naar vier andere dimensies: hoe goed het systeem omgaat met lange documenten, met scans en handschrift, met complexe tabellen, en — en dit is wat mij het meest opviel — of het systeem een bronverwijzing kan leveren.

Een belangrijk voorbehoud

Ik wil hier wel even bij zeggen: ExtractBench is gemaakt door LlamaIndex, en LlamaExtract — het product dat bovenaan eindigt — is ook van LlamaIndex. Dat is niet per definitie een probleem: de dataset en evaluatiecode zijn openbaar beschikbaar op HuggingFace en GitHub, dus anderen kunnen de resultaten narekenen. Maar het is goed om te weten dat de maker van de benchmark ook de winnaar is. Dat maakt de resultaten niet ongeldig, maar het vraagt om extra kritische blik.

Grounding: het bonnetje bij de uitkomst

Het concept dat mij het meest aan het denken zette, is wat in de benchmark "grounding" wordt genoemd. Vrij vertaald: kan het systeem per opgehaalde waarde aanwijzen waar in het document die waarde staat?

De benchmark meet dit op twee niveaus. Op paginaniveau: staat de bronverwijzing op de juiste pagina? En op woordniveau: wijst de bronverwijzing naar de juiste woorden, met een nauwkeurigheid van minimaal 50% overlap met het daadwerkelijke tekstvak?

De spelregels zijn streng. Een perfect kader rond een fout antwoord telt niet. En een goed antwoord zonder bronverwijzing telt óók niet. Beide moeten kloppen.

Ik vind dat een eerlijke manier van meten. Als ondernemer wil je niet alleen weten wat er op een factuur staat, je wilt ook kunnen verifiëren waar het systeem dat vandaan haalt. Vooral als je in een gereguleerde sector werkt — denk aan financiële dienstverlening, zorg of douane — is die traceerbaarheid niet optioneel.

De resultaten: veel systemen leveren geen bewijs

De uitkomsten zijn wat mij betreft best ontnuchterend.

De grote taalmodellen (VLM's zoals GPT-4o en Gemini) en zogenaamde coding agents — systemen die zelfstandig code schrijven om documenten te verwerken — leveren standaard geen bronverwijzingen. Ze scoren op beide grounding-niveaus een nul. Ze halen soms wel de juiste waarde op, maar kunnen niet vertellen waar die vandaan komt.

Van de systemen die wél bronverwijzingen teruggeven, scoort de beste op woordniveau een F1 van nog geen 50%. Dat betekent: zelfs het beste systeem wijst in minder dan de helft van de gevallen naar precies de juiste woorden.

Lange documenten zijn een probleem

Wat mij nog meer opviel: grounding stort in bij langere documenten. Eén gespecialiseerde API gaat van 61,7% op paginaniveau bij korte documenten naar 0,0% bij lange documenten. Nul procent. Dat is niet een beetje slechter — het werkt simpelweg niet meer.

Stel dat je als ondernemer een contract van zestig pagina's automatisch laat verwerken. Bij de eerste paar pagina's lijkt alles te kloppen. Maar verderop in het document mist het systeem informatie, zonder dat je het merkt. Dat is een onzichtbaar faalscenario, en dat maakt het extra lastig.

LlamaExtract Agentic Plus — het topmodel van LlamaIndex — houdt het volgens de benchmark wél vol op lange documenten: 87,1% paginaniveau grounding, waar anderen naar nul zakken. Op korte documenten scoort het 84,9% op paginaniveau en 46,4% op woordniveau. Dat is het beste resultaat in de test, maar ook dat woordniveau laat zien dat er nog veel ruimte is voor verbetering.

Wat betekent dit voor een ondernemer?

Misschien gebruik je al een tool die automatisch facturen inleest, offertes verwerkt of data uit formulieren haalt. Of misschien overweeg je dat. In beide gevallen is de vraag relevant: levert dat systeem ook een bewijs per opgehaalde waarde?

In de praktijk werken veel ondernemers met documentverwerking zonder te weten of het systeem bronverwijzingen ondersteunt. En eerlijk gezegd was dat tot voor kort ook nauwelijks te testen — er was geen gestandaardiseerde manier om systemen hierop te vergelijken.

De benchmark laat ook een interessant kostenplaatje zien. LlamaExtract Agentic Plus kost volgens de test 8,1 cent per pagina. Een coding agent op basis van GPT-4 komt op 27,8 cent per pagina. Op kleine schaal maakt dat weinig uit. Maar als je duizend documenten per maand verwerkt, praat je al snel over een verschil van honderden euro's per maand. Bij een miljoen pagina's per maand — niet ondenkbaar voor grotere administratiekantoren — staat elke cent per pagina gelijk aan 10.000 euro per maand.

Kun je je voorstellen wat dat betekent als je net je documentverwerking aan het opschalen bent?

Wat ik hiervan meeneem

Ik denk dat de belangrijkste les uit deze benchmark niet is welk systeem het beste scoort. Het is dat "grounding" — het leveren van bewijs bij een opgehaalde waarde — nog een onopgelost probleem is in de hele sector. De beste scores zijn bemoedigend maar niet overweldigend, en de meeste systemen doen er simpelweg niets mee.

Voor mij is dit vooral een signaal dat documentextractie met AI verder is dan veel ondernemers denken op het gebied van waarden ophalen, maar minder ver dan je zou willen op het gebied van controleerbaar waarden ophalen. En dat tweede is precies wat je nodig hebt als je er serieuze bedrijfsbeslissingen op baseert.

De benchmark zelf is openbaar en dat vind ik waardevol — het geeft ondernemers en hun leveranciers een gedeelde taal om over kwaliteit te praten. Niet "ons systeem werkt goed", maar: hoe scoort het op grounding, op lange documenten, op scans? Dat soort concrete vragen maakt het gesprek met een leverancier een stuk scherper.