ID-V2V: video restylen zonder gezichtsidentiteit te verliezen

TL;DR

• Wat: Onderzoekers van Netflix (Eyeline Labs) en Adobe presenteren ID-V2V, een AI-methode die de visuele stijl van een video kan veranderen terwijl gezichten, expressies en lipsync intact blijven.
• Waarom relevant: Videoproductie en post-productie worden hiermee potentieel sneller en goedkoper — interessant voor iedereen die met videocontent werkt.
• Wat je ermee kunt: Volg deze ontwikkeling als je regelmatig video's laat maken; dit soort tools kan binnen afzienbare tijd de kosten van restyling en VFX-werk drukken.

Ik kwam een paper tegen die me direct opviel: ID-V2V, een onderzoeksproject van Netflix-dochter Eyeline Labs samen met Adobe. Het idee klinkt simpel — verander de look van een video, maar houd de gezichten intact — maar wie weleens met video-editing heeft gewerkt, weet dat dit tot nu toe een van de lastigste problemen is in post-productie. Het paper is aangenomen voor SIGGRAPH Asia 2026, een van de belangrijkste conferenties op het gebied van computergraphics.

Wat doet ID-V2V precies?

Stel dat je een video hebt opgenomen van iemand die iets vertelt. Achteraf wil je de belichting aanpassen, de achtergrond veranderen, of de hele scène een compleet andere visuele stijl geven. Traditioneel betekent dat uren werk in post-productie — of opnieuw filmen.

ID-V2V werkt anders. Je neemt het eerste frame van je video, bewerkt dat zoals je wilt (andere achtergrond, andere belichting, andere sfeer), en het systeem past die veranderingen automatisch toe op de rest van de video. Het bijzondere: de gezichten van de personen in beeld blijven herkenbaar. Niet alleen qua uiterlijk, maar ook qua gezichtsuitdrukkingen, oogbewegingen en lipsynchronisatie.

Ik vind dat een interessant onderscheid. Eerdere AI-videotools konden al stijlveranderingen toepassen, maar liepen vaak vast op gezichten. Die werden wazig, kregen een ander karakter, of de lippen liepen niet meer synchroon. ID-V2V claimt dat probleem grotendeels op te lossen.

Hoe werkt het technisch — in begrijpelijke taal

De kern van de aanpak is een slimme scheiding van twee taken die normaal door elkaar lopen:

Stijl overbrengen

Het systeem gebruikt het bewerkte eerste frame samen met diepte-informatie (een soort 3D-kaart van de scène) om de visuele veranderingen consistent door te voeren over alle frames.

Gezicht behouden

Hier wordt het slim. De onderzoekers behandelen het behoud van gezichtsidentiteit als een belichtingsprobleem. Ze trainen het systeem om gezichten te herkennen onder verschillende lichtomstandigheden, zodat het onderscheid kan maken tussen "dit is hoe het gezicht eruitziet" en "dit is hoe het licht erop valt". Daarvoor gebruiken ze twee signalen: een genormaliseerde versie van het gezicht (alsof het onder standaardverlichting staat) en een geometrische kaart van het gezichtsoppervlak.

Wat mij opvalt: ze hebben een manier gevonden om trainingsdata te genereren uit individuele video's, zonder dat je dure, gepaarde datasets nodig hebt van voor-en-na-opnames. Dat is relevant omdat het de drempel verlaagt om dit soort modellen te trainen en te verbeteren.

Het geheel is gebouwd bovenop bestaande open modellen (VACE en Wan2.1), uitgebreid met een multi-ControlNet-architectuur. De code is beschikbaar gesteld op GitHub.

De resultaten: wat zeggen de cijfers?

De onderzoekers hebben het systeem getest op honderd video's met één persoon en zestig video's met twee personen. Een paar uitkomsten die me opvielen:

• Gezichtsherkenning (AdaFace-score): 0,701 voor video's met één persoon, tegenover 0,529 voor de beste bestaande methode. Dat is een flinke verbetering — het betekent dat het gezicht na restyling aanzienlijk beter herkenbaar blijft.
• Gebruikersvoorkeur: In een gebruikersstudie koos meer dan 74% van de deelnemers voor ID-V2V als het ging om gezichtsbehoud bij één persoon. Bij twee personen in beeld steeg dat naar meer dan 85%.
• Videokwaliteit: Op standaard videobenchmarks (CLIP-T, VBench) scoorde het systeem vergelijkbaar met bestaande methodes. De specialisatie in gezichtsbehoud ging dus niet ten koste van de algehele videokwaliteit.

Ik vind het eerlijk gezegd opvallend dat het systeem juist bij meerdere personen in beeld beter presteert dan de concurrentie. Dat is precies het scenario dat in de praktijk het vaakst voorkomt — denk aan een bedrijfsvideo met meerdere medewerkers, of een interviewsetting.

Beperkingen — want die zijn er

De onderzoekers zijn hier zelf transparant over, en ik waardeer dat. Twee belangrijke kanttekeningen:

1. Grote geometrische verschillen: Als de bewerking van het eerste frame een compleet andere scène-indeling voorstelt (bijvoorbeeld een close-up omzetten naar een totaalshot), dan kan het systeem in de knoop raken. De diepte-informatie uit de originele video conflicteert dan met wat het bewerkte frame laat zien.

2. Extreme belichtingsomstandigheden: Bij bronvideo's met sterk gekleurd licht of harde schaduwen kunnen er ongewenste kleurafwijkingen optreden in het resultaat. Het systeem werkt het best met redelijk normale studioverlichting.

Dat zijn geen onbelangrijke beperkingen. Voor een gecontroleerde productieomgeving — studio, goede verlichting, vaste camera-opstelling — lijkt het systeem goed te werken. Voor meer spontane opnames op locatie is het waarschijnlijk minder betrouwbaar.

Wat betekent dit voor ondernemers die video inzetten?

Ik denk dat de directe impact voor de meeste MKB-ondernemers op dit moment beperkt is. Dit is een onderzoekspaper, geen kant-en-klaar product. Maar de richting is interessant.

Stel dat je als ondernemer regelmatig bedrijfsvideo's laat maken — productdemo's, klantverhalen, interne communicatie. Op dit moment betekent elke visuele aanpassing (andere huisstijl, seizoensgebonden look, aanpassing aan een nieuw merk) vaak opnieuw filmen of duur nabewerken. Als dit soort technologie volwassen wordt, zou je in theorie één set opnames kunnen hergebruiken in meerdere visuele stijlen.

Daarnaast is het relevant dat dit onderzoek komt van Netflix en Adobe — twee bedrijven die dit soort technologie waarschijnlijk in hun producten gaan integreren. Adobe heeft al een track record van het doorvertalen van onderzoek naar tools als Premiere Pro en After Effects. Kun je je voorstellen wat het betekent als je in Premiere Pro straks één frame bewerkt en de rest van je video automatisch meegaat?

Tegelijk wil ik hier ook een nuance plaatsen. De ethische vragen rond dit soort technologie zijn niet triviaal. Als je het gezicht van iemand kunt behouden terwijl je alles eromheen verandert, raakt dat aan vragen over toestemming en authenticiteit. De onderzoekers gaan hier in het paper niet diep op in, maar het is iets waar ik denk dat we als ondernemers bewust van moeten zijn.

Een veelbelovende technische stap

Voor mij is dit vooral een signaal dat AI-gestuurde videobewerking in een volgende fase komt. Niet meer alleen stijlfilters of achtergrondvervanging, maar gerichte controle over wat wél en wat níet verandert in een video. Het feit dat de code openbaar beschikbaar is, betekent dat andere ontwikkelaars hierop kunnen voortbouwen. Ik ben benieuwd hoe snel dit soort mogelijkheden opduikt in de tools die wij als ondernemers dagelijks gebruiken.