Perplexity maakt multimodale zoekmodellen open source

TL;DR

• Wat: Perplexity heeft twee open-source embedding-modellen uitgebracht (9B en 0.6B parameters) die tekst, afbeeldingen en PDF's doorzoekbaar maken — zonder OCR.
• Waarom relevant: als je bedrijf veel documenten verwerkt (offertes, facturen, presentaties), kun je straks zoeken op inhoud zonder alles eerst om te zetten naar tekst.
• Wat je ermee kunt: evalueer of jouw documentworkflow baat heeft bij visueel zoeken, en volg of toolmakers deze modellen gaan inbouwen in bestaande software.

Ik stuitte vandaag op een bericht van Arav Srinivas, CEO van Perplexity, over twee nieuwe AI-modellen die het bedrijf als open source vrijgeeft. Wat mij direct opviel: dit gaat niet over chatbots of tekst genereren, maar over zoeken. En dan specifiek: zoeken door documenten, afbeeldingen en PDF-pagina's tegelijk.

Wat zijn embedding-modellen eigenlijk?

Even een stap terug, want "embedding-model" is typisch zo'n term die langs je heen glijdt als je niet dagelijks met AI bezig bent. Een embedding-model zet informatie — een zin, een alinea, een afbeelding — om in een reeks getallen. Die getallen vormen een soort vingerafdruk van de betekenis. Twee stukken tekst die over hetzelfde onderwerp gaan, krijgen vingerafdrukken die dicht bij elkaar liggen. Zo kun je snel zoeken: niet op exacte woorden, maar op betekenis.

Wat Perplexity hier doet, is dat principe uitbreiden naar meerdere typen content tegelijk. Tekst en afbeeldingen delen dezelfde "vingerafdrukruimte". Daardoor kun je met een tekstzoekopdracht ook relevante afbeeldingen of PDF-pagina's vinden — zonder dat die eerst door OCR (tekstherkenning) gehaald hoeven worden.

Twee modellen, één zoekruimte

Perplexity brengt twee varianten uit: een groot model met 9 miljard parameters en een compact model met 600 miljoen parameters. Beide modellen gebruiken een zogenaamde ColBERT-architectuur. In plaats van één samenvatting per document, houdt het model een aparte vector bij voor elk stukje tekst — 128 dimensies per token. Daardoor kan het veel gedetailleerder matchen.

Wat ik interessant vind, is hoe de twee modellen samenwerken. Het idee is: gebruik het grote 9B-model om je documenten te indexeren (de vingerafdrukken te maken), en het kleine 0.6B-model om zoekopdrachten uit te voeren. Dat kleinere model kan zelfs op een telefoon of laptop draaien. Je bouwt dus een keer een uitgebreide index op met het zware model, en zoekt er vervolgens lichtgewicht doorheen.

Stel dat je als ondernemer een archief hebt van duizenden offertes, productbladen of technische tekeningen. Je zou die met het grote model kunnen indexeren, en vervolgens met het kleine model snel en lokaal doorzoeken — zonder dat alles naar een cloudserver hoeft.

De benchmarks: wat zeggen de cijfers?

Perplexity claimt twee opvallende scores:

• 92,4% op MADQA — een benchmark met 2.250 vragen over 800 diverse PDF-documenten, ontwikkeld door onder andere Snowflake. Deze benchmark test hoe goed een systeem informatie uit complexe, visuele documenten kan ophalen.
• 64% op BrowseComp+ — een benchmark die meet hoe goed AI-systemen diepgaand onderzoek kunnen doen over een vaste verzameling documenten.

Ter vergelijking: bij BrowseComp+ scoort het open-source model Search-R1 met een eenvoudige zoekmotor slechts 3,86%. Dat is een enorm verschil, al moet ik erbij zeggen dat die vergelijking niet helemaal eerlijk is — het zijn verschillende typen systemen. Wat ik vooral wil laten zien: de scores zijn hoog, maar onafhankelijke verificatie op verschillende documenttypen en talen is nog waardevol.

De modellen zijn getraind via distillatie vanuit een nog groter model van 18 miljard parameters, op 186 miljoen vraag-documentparen in 46 talen. Dat is een aanzienlijke trainingsbasis.

Wat betekent dit voor een ondernemer?

Laat me eerlijk zijn: je gaat deze modellen waarschijnlijk niet zelf draaien. Dat is ook niet het punt. Wat wél relevant is:

Zoeken door documenten zonder voorbewerking

Veel bedrijven hebben PDF-archieven — contracten, handleidingen, productcatalogi — die lastig doorzoekbaar zijn. Traditioneel moet je eerst OCR draaien om tekst uit scans te halen, en dan hoop je dat de herkenning goed genoeg was. Een model dat direct op de visuele pagina kan zoeken, slaat die stap over. Dat scheelt werk én fouten.

Multimodaal zoeken wordt toegankelijker

Doordat Perplexity deze modellen als open source vrijgeeft (de gewichten staan op Hugging Face), kunnen andere softwaremakers ze inbouwen in hun producten. Ik verwacht dat we dit de komende maanden gaan terugzien in documentbeheersystemen, kennisbanken en interne zoektools. Voor jou als ondernemer betekent dat: de kans groeit dat de software die je al gebruikt, binnenkort slimmer kan zoeken.

On-device zoeken

Het kleine 0.6B-model is compact genoeg om op een apparaat te draaien zonder internetverbinding. Dat is relevant voor situaties waarin data niet de deur uit mag — denk aan juridische stukken, medische dossiers of gevoelige bedrijfsinformatie. Zoeken zonder cloud is voor sommige sectoren een harde eis.

De context: Perplexity als zoekbedrijf

Perplexity positioneert zich al langer als alternatief voor traditionele zoekmachines. Het bedrijf is begonnen als AI-zoekmotor en bouwt nu de onderliggende technologie ook open source uit. Dat is een bewuste strategie: door de bouwstenen vrij te geven, vergroot je het ecosysteem en maak je jezelf relevanter als platform.

Wat mij opvalt, is dat ze hiermee concurreren met Google en Alibaba op het gebied van embedding-modellen, maar dan met modellen die aanzienlijk minder geheugen vragen. Dat verlaagt de drempel voor kleinere partijen om deze technologie te gebruiken.

Een signaal, geen eindpunt

Voor mij is dit vooral een signaal dat de manier waarop we bedrijfsdocumenten doorzoeken, aan het verschuiven is. De stap van "zoeken op woorden" naar "zoeken op betekenis" was al gaande. De stap naar "zoeken op betekenis dwars door tekst, beeld en PDF heen" is wat hier concreet wordt.

Of jouw bedrijf hier morgen iets mee doet? Waarschijnlijk niet direct. Maar als je leverancier van documentbeheer of je IT-partner over een half jaar zegt dat hun zoekfunctie "nu ook PDF's en afbeeldingen begrijpt" — dan weet je waar dat vandaan komt.