Vidu S2: real-time AI-avatars en videobewerking in één model

TL;DR

• Wat: Shengshu AI presenteert Vidu S2, een model dat real-time digitale avatars genereert én video's live bewerkt — inclusief kledingwissels, achtergrondvervanging en stijlveranderingen.
• Waarom relevant: real-time AI-video verschuift van 'leuk experiment' naar iets wat je kunt inzetten voor klantenservice, productdemo's of interne communicatie.
• Wat je ermee kunt: de online demo op vidu.com/vidu-stream uitproberen en beoordelen of real-time AI-video past bij jouw klantcontact.

Ik kwam dit onderzoekspaper tegen via een tweet van AI-curator AK en het trok meteen mijn aandacht. Niet zozeer vanwege het zoveelste AI-videomodel, maar omdat hier twee dingen samenkomen die apart al interessant zijn: een digitale avatar die in real-time reageert, én videobewerking die live meegaat. Dat is een combinatie die ik nog niet eerder zo bij elkaar zag.

Wat is Vidu S2 precies?

Vidu S2 is een AI-model van het Chinese bedrijf Shengshu AI, opgericht in 2023 door een team van de Tsinghua-universiteit. Het bedrijf heeft inmiddels serieuze rugdekking: in april 2026 leidde Alibaba een investeringsronde van omgerekend zo'n 290 miljoen dollar, volgens CNBC. Het platform telt naar eigen zeggen meer dan 30 miljoen gebruikers in ruim 200 landen.

Vidu S2 bestaat uit twee onderdelen:

Vidu S2-Avatar

Dit is het deel dat digitale personages in real-time genereert. Denk aan een avatar die met je meepraat, op je stem reageert, en zelfs complexe bewegingen kan uitvoeren — het paper noemt dansen als voorbeeld. De output is 720p-video met 25 tot 42 frames per seconde. Wat mij opvalt: je kunt het referentiebeeld tussentijds aanpassen. Stel dat je halverwege een gesprek de outfit of de setting van je avatar wilt wijzigen, dan kan dat zonder de stream te onderbreken.

Vidu S2-Editing

Het tweede onderdeel pakt een bestaande videostream en bewerkt die live. Dat kan stijlverandering zijn (denk aan een andere visuele look), maar ook kledingvervanging, een ander personage, of een compleet andere achtergrond. Het model accepteert camera-input, video en afbeeldingen als bron.

Ik vind het eerlijk gezegd opvallend dat beide onderdelen ook 'spatial video' ondersteunen — video met diepte-informatie, bedoeld voor VR-brillen en vergelijkbare apparaten. Dat is nu misschien nog niche, maar het laat zien in welke richting Shengshu denkt.

Waarom is real-time hier het sleutelwoord?

Er zijn inmiddels tientallen AI-tools die video kunnen genereren. Maar vrijwel allemaal werken ze als een soort oven: je stopt er een prompt in, wacht even, en krijgt een afgebakken resultaat terug. Dat is handig voor marketing of social media, maar niet voor situaties waarin je live met iemand communiceert.

Real-time betekent dat de video wordt gegenereerd terwijl de interactie plaatsvindt. Vergelijk het met het verschil tussen een voicemail inspreken en een live telefoongesprek. Die directheid maakt toepassingen mogelijk die met vertraagde generatie simpelweg niet werken.

Voor de technisch nieuwsgierigen: het paper claimt dat Vidu S2 beter presteert dan alle geteste baselines. Ik heb geen onafhankelijke benchmarks gevonden die dat bevestigen, dus neem die claim met een korrel zout — het is de conclusie van de makers zelf.

Wat betekent dit voor ondernemers?

Kun je je voorstellen dat een klant op je website terechtkomt en in plaats van een chatbot een visueel persoon ziet die in real-time reageert? Of dat je een productdemo kunt geven met een digitale presentator die er elke keer weer fris uitziet, zonder dat je zelf voor de camera hoeft?

De zakelijke toepassingen van AI-avatars groeien snel. Platforms als Tavus, D-ID en Kaltura bieden al enterprise-oplossingen. Wat Vidu S2 toevoegt is de combinatie van avatar-generatie én live videobewerking in één systeem, met een API die je kunt integreren.

Een paar denkbare scenario's voor een MKB-ondernemer:

• Klantenservice: een AI-avatar die 24/7 beschikbaar is, in meerdere talen kan communiceren, en er visueel consistent uitziet — zonder dat je presentatoren hoeft in te huren.
• Interne training: onboarding-video's die je kunt aanpassen door simpelweg het referentiebeeld of de achtergrond te wisselen, zonder opnieuw te filmen.
• Productpresentaties: een digitale host voor je webshop of beurspresentatie die reageert op vragen van kijkers.

Ik wil hier wel nuanceren: deze scenario's zijn denkbaar, maar niet bewezen in de Nederlandse markt. De technologie is net gepubliceerd en de praktische drempels — denk aan taalondersteuning, privacywetgeving, en klantacceptatie — zijn er nog gewoon.

Wat zijn de kanttekeningen?

Er zijn een paar dingen die ik niet heb kunnen verifiëren en die je als ondernemer wilt weten:

• Prijzen: Shengshu noemt geen prijsmodel op de demopagina. Voor een MKB-ondernemer is dat relevante informatie voordat je er tijd in steekt.
• Privacy en AVG: Shengshu is een Chinees bedrijf. Als je klantinteracties via hun API laat lopen, wil je precies weten waar data wordt verwerkt en opgeslagen. Dat is in een Europese context geen detail maar een vereiste.
• Taalondersteuning: het paper en de demo zijn Engelstalig. Of de avatar vloeiend Nederlands spreekt en begrijpt, is niet duidelijk uit de beschikbare bronnen.
• Deepfake-risico: een model dat real-time gezichten en kleding kan vervangen roept vanzelfsprekend vragen op over misbruik. Het paper gaat hier niet expliciet op in.

De bredere trend: AI-video wordt interactief

Wat mij betreft is Vidu S2 niet zozeer interessant als losstaand product, maar als signaal van waar AI-videogeneratie naartoe beweegt. We gaan van 'genereer een clipje' naar 'voer een live gesprek met een digitaal persoon dat er overtuigend uitziet'. De stap daarna is dat dit soort technologie standaard wordt ingebouwd in klantenserviceplatforms, e-learningtools en videoconferencing.

Shengshu is overigens niet de enige speler. OpenAI had Sora, dat inmiddels is stopgezet. Google heeft Veo. Maar het feit dat een relatief jong Chinees bedrijf — met serieuze financiering — dit soort modellen publiceert en direct een API aanbiedt, laat zien hoe snel dit veld beweegt.

Voor mij is dit vooral een moment om als ondernemer even stil te staan bij de vraag: op welke plekken in mijn bedrijf zou een real-time visuele AI-interactie waarde toevoegen? Niet om morgen te implementeren, maar om te weten wat er aankomt — zodat je niet verrast wordt als je concurrent het wél doet.