Hoe multimodale AI leert: wat nieuw onderzoek onthult

TL;DR

• Wat: Onderzoekers ontdekten hoe tekst- en beeldverwerking in AI-modellen elkaar versterken — en wanneer ze elkaar juist tegenwerken.
• Waarom relevant: Multimodale AI (modellen die tekst, beeld en video combineren) wordt steeds vaker ingezet in bedrijfssoftware; dit onderzoek bepaalt hoe goed die modellen straks werken.
• Wat je ermee kunt: Bij de keuze van AI-tools voor je bedrijf kun je letten op of een model vanaf de basis multimodaal is getraind — dat levert betere prestaties op dan achteraf samengevoegde systemen.

Een groep onderzoekers, onder wie Junlin Han (Oxford/Meta) en Shengbang Tong, publiceerde deze week het paper Towards Physics of Multimodal Pretraining. Ik viel erover omdat het een vraag beantwoordt die ik me al langer stel: wat gebeurt er eigenlijk binnenin zo'n AI-model als je het tegelijk tekst én beeld laat verwerken? De bevindingen zijn verrassend concreet en hebben — zo denk ik — directe gevolgen voor de AI-tools die wij als ondernemers de komende jaren gaan gebruiken.

Wat is multimodaal pretrainen?

Even een stap terug. De meeste AI-modellen die je nu tegenkomt — denk aan ChatGPT, Claude of Gemini — zijn inmiddels multimodaal. Dat betekent dat ze niet alleen tekst begrijpen, maar ook afbeeldingen, soms video en audio. Vergelijk het met het verschil tussen iemand die alleen kan lezen en iemand die tegelijk kan lezen, kijken en luisteren.

De vraag is: hoe train je zo'n model het beste? Leer je het eerst lezen en voeg je later het "kijken" toe? Of laat je het vanaf dag één alles tegelijk leren? Dit paper onderzocht precies dat, met gecontroleerde experimenten op zowel synthetische als grote, echte datasets.

Vier bevindingen die ertoe doen

1. Kennisoverdracht is asymmetrisch

De onderzoekers ontdekten dat taal en beeld niet gelijkwaardig kennis uitwisselen binnen een model. Taal stuurt meer richting beeld dan andersom. In de praktijk betekent dit: een model dat goed is in taal, helpt de beeldverwerking mee omhoog — maar het omgekeerde effect is kleiner.

Wat mij hier opvalt: dit verklaart waarom de modellen die we nu gebruiken vaak beter zijn in het beschrijven van afbeeldingen dan in het genereren ervan op basis van beschrijvingen.

2. Synergie of concurrentie hangt af van complexiteit

Soms versterken beeld en taal elkaar, soms werken ze elkaar tegen. De sleutel blijkt de complexiteit van de data te zijn. Bij eenvoudige taken ontstaat er vaker concurrentie (het model wordt "lui" en leunt te veel op één modaliteit). Bij complexere data — denk aan gedetailleerde productbeschrijvingen bij productfoto's — ontstaat juist synergie.

De architectuurkeuze speelt hier ook een rol: gedeelde aandachtsmechanismen gecombineerd met modaliteitsspecifieke lagen werken het best. Dat klinkt technisch, maar het komt erop neer dat het model een gedeeld "werkgeheugen" heeft, maar aparte "specialisten" voor tekst en beeld.

3. Vroeg combineren werkt beter dan later samenvoegen

Dit is misschien de meest praktische bevinding. Modellen die vanaf het begin van de training zowel tekst als beeld verwerken, presteren beter dan modellen waarbij de beeldcomponent later wordt toegevoegd. De onderzoekers spreken zelfs van een vision laziness phenomenon: als je beeldverwerking te laat toevoegt, leunt het model te veel op taalsignalen en leert het beelden oppervlakkig te interpreteren.

Stel dat je als ondernemer twee AI-tools vergelijkt voor het automatisch beschrijven van je productcatalogus. Eén tool is gebouwd op een model dat vanaf de basis tekst en beeld samen heeft geleerd. De andere is een taalmodel waar achteraf een beeldherkenner aan is vastgeplakt. Volgens dit onderzoek zou de eerste tool fundamenteel beter moeten presteren.

4. Efficiënte recepten met een fractie van de rekenkracht

De onderzoekers ontwikkelden trainingsrecepten die met slechts 5% van de gebruikelijke rekenkracht sterke resultaten behalen. Ze valideerden hun bevindingen op een model van 13,5 miljard parameters, getraind op 2 biljoen tokens. Dat is groot onderzoek, maar de les is klein: slimmer trainen kan dezelfde resultaten opleveren met veel minder energie en kosten.

Ik vind dit eerlijk gezegd een van de meest hoopgevende aspecten. Als efficiëntere training mogelijk is, worden krachtige multimodale modellen toegankelijker — ook voor kleinere aanbieders en uiteindelijk voor het MKB dat deze tools afneemt.

Wat betekent dit als je een bedrijf runt?

Je hoeft als ondernemer uiteraard geen AI-modellen te trainen. Maar je maakt wél keuzes over welke AI-tools je inzet. En die keuzes worden steeds belangrijker nu multimodale AI oprukt in concrete bedrijfstoepassingen: van automatische productfotografie en kwaliteitscontrole tot het samenvatten van vergaderopnames met videobeelden.

Dit onderzoek geeft een paar handvatten:

• Vraag je leverancier of het model "natively multimodal" is. Dat klinkt als jargon, maar het betekent simpelweg: is het model vanaf de basis getraind op meerdere typen data, of is het een taalmodel met een visuele laag erop? Het eerste levert betere resultaten.
• Complexere taken profiteren meer van multimodale AI. Als je een simpele taak hebt (bijvoorbeeld: "lees deze factuur"), volstaat vaak een puur taalmodel. Maar zodra je tekst én beeld samen nodig hebt — productbeschrijvingen bij foto's, technische documentatie bij diagrammen — wordt een echt multimodaal model relevanter.
• De kosten dalen. De API-kosten voor multimodale verwerking liggen inmiddels tussen de 0,01 en 0,05 euro per pagina. Met efficiëntere trainingsmethoden zoals in dit paper worden modellen goedkoper, en die besparing sijpelt door naar de eindgebruiker.

Kanttekeningen

Het paper is afkomstig van onderzoekers verbonden aan Oxford en Meta. Dat is serieus werk, maar het is wel belangrijk om te beseffen dat veel van deze bevindingen voortkomen uit gecontroleerde experimenten. De echte wereld is rommeliger dan een lab. Of deze principes één-op-één vertalen naar de commerciële modellen die jij als ondernemer gebruikt, is niet gegarandeerd.

Ook is dit fundamenteel onderzoek — geen productaankondiging. Je kunt er morgen nog geen tool mee kopen. Maar het helpt wel om te begrijpen waarom sommige AI-tools beter werken dan andere, en waar de technologie naartoe beweegt.

Waar het op neerkomt

Voor mij is dit paper vooral een bevestiging van iets wat ik al langer vermoed: de manier waarop een AI-model wordt getraind, bepaalt de kwaliteit van wat het kan — niet alleen de grootte ervan. Vroeg combineren, slim balanceren, en de juiste architectuurkeuzes maken meer verschil dan simpelweg meer data en meer rekenkracht erin gooien. Dat is een nuance die ik als ondernemer prettig vind, omdat het betekent dat slimmere modellen niet per definitie duurder hoeven te zijn.