De AI-adviseur van de paus wil het niet over doemscenario's hebben

TL;DR

• Wat: Paolo Benanti, AI-adviseur van het Vaticaan, stelt in WIRED dat het debat over 'godachtige AI die de mensheid vernietigt' afleidt van de vraag hoe we AI-bedrijven daadwerkelijk moeten besturen.
• Waarom relevant: Als ondernemer word je geraakt door regelgeving die wél of niet tot stand komt — en dat hangt af van de kwaliteit van het publieke debat.
• Wat je ermee kunt: Inventariseer welke AI-tools je bedrijf gebruikt en hoe ze onder de EU AI Act vallen, voordat de deadlines je inhalen.

Ik las vandaag een artikel van WIRED over Paolo Benanti, een Franciscaner monnik die het Vaticaan en de VN adviseert over kunstmatige intelligentie. Zijn boodschap is opvallend nuchter voor iemand die vanuit Rome opereert: stop met paniek over superintelligentie, en begin met het gesprek over hoe we de bedrijven die AI bouwen écht onder controle houden. Dat vind ik een perspectief dat aandacht verdient, vooral voor ondernemers die nu al met AI werken.

Wie is Paolo Benanti?

Paolo Benanti is hoogleraar moraalfilosofie aan de LUISS Guido Carli-universiteit in Rome en doceert aan de Pauselijke Gregoriana-universiteit. Hij was persoonlijk adviseur van paus Franciscus op het gebied van technologie-ethiek. In 2023 werd hij door VN-secretaris-generaal António Guterres geselecteerd als een van 38 experts die een voorstel moesten ontwikkelen voor mondiale AI-governance.

Wat mij hier opvalt: dit is geen techneut vanuit Silicon Valley die zegt dat zijn eigen product "verantwoord" is. Dit is iemand die vanuit een totaal andere traditie — moraalfilosofie en theologie — naar dezelfde technologie kijkt. Dat maakt zijn analyse niet per se beter, maar wel anders dan wat je gewoonlijk hoort.

Het argument: doemscenario's leiden af

Benanti's kernpunt in het WIRED-interview is dat de "hysterie" rond de vraag of AI de mensheid kan vernietigen een afleidingsmanoeuvre is. Niet per se opzettelijk, maar in effect wel. Want terwijl commentatoren en politici debatteren over superintelligentie en existentieel risico, blijven de prangende vragen over de huidige situatie liggen.

Volgens Benanti presenteren grote AI-laboratoria het probleem als zó complex dat alleen zij het kunnen oplossen. Daarmee sluiten ze in zijn woorden iedereen anders buiten het gesprek uit. Hij noemt dit "kartelgedrag" — een term die hij bewust kiest om aan te geven dat een kleine groep bedrijven zowel de technologie als het narratief rond die technologie controleert.

Ik vind dit een interessante observatie. Niet omdat ik kan beoordelen of er daadwerkelijk sprake is van kartelvormig gedrag in juridische zin — dat is aan mededingingsautoriteiten. Maar het patroon dat hij beschrijft, herken ik wel: als een onderwerp ingewikkeld genoeg wordt gemaakt, vallen de meeste mensen af in de discussie. En dan bepaalt een kleine groep de regels.

Wat betekent dit voor het publieke debat?

Benanti pleit voor bredere democratische participatie in beslissingen over AI-governance. Zijn punt is in feite: de mensen die worden geraakt door AI — werknemers, consumenten, ondernemers — moeten meebeslissen over de spelregels. Niet alleen de bedrijven die de technologie bouwen.

Dit raakt aan iets wat ik als ondernemer herken. Stel dat je als MKB-eigenaar AI inzet voor klantenservice, voorraadbeheer of marketing. Dan word je direct geraakt door regelgeving rond die technologie. Maar heb je invloed op hoe die regelgeving eruitziet? In de meeste gevallen niet.

Het debat over existentieel risico — hoe belangrijk dat ook kan zijn — biedt weinig houvast voor de ondernemer die vandaag beslissingen moet nemen. Wat Benanti in feite zegt, is: laten we het hebben over de concrete keuzes die nu gemaakt worden, niet over scenario's die misschien ooit relevant worden.

De EU AI Act: dichterbij dan je denkt

Dit thema van governance is niet alleen filosofisch. De EU AI Act is de meest concrete uiting van het soort regulering waar Benanti voor pleit. En die raakt Nederlandse ondernemers direct.

Uit recente cijfers blijkt dat slechts 7 procent van de Nederlandse ondernemers goed op de hoogte is van de EU AI Act. Dat is opvallend laag, zeker gezien het feit dat boetes kunnen oplopen tot 35 miljoen euro of 7 procent van de mondiale jaaromzet.

Wat zijn de deadlines?

Het goede nieuws: de Europese Raad en het Europees Parlement hebben op 7 mei 2026 een voorlopig akkoord bereikt over de Digital Omnibus. Daarmee is de zwaarste verplichting voor hoog-risico AI verschoven van 2 augustus 2026 naar 2 december 2027 voor de meeste sectoren.

Maar dat betekent niet dat je nu achterover kunt leunen. De basisverplichtingen — transparantie-eisen, AI-beleid, een inventaris van de tools die je gebruikt — gelden nu al of treden binnenkort in werking.

Wat moet je concreet doen?

Voor een gemiddeld MKB-bedrijf met 5 tot 20 medewerkers dat AI beperkt inzet, komt het neer op:

• Eenmalig: 4 tot 8 uur om een AI-beleid op te stellen en je tools te inventariseren.
• Doorlopend: 1 tot 2 uur per kwartaal om dat bij te houden.

Dat is overzichtelijk. Maar je moet het wel doen. Vooral als je AI inzet bij HR-processen (denk aan geautomatiseerde cv-screening) of bij marketingtoepassingen die klantdata verwerken, is het verstandig om nu al te kijken hoe die onder de risicoklassen van de AI Act vallen.

Waarom dit ertoe doet

Wat Benanti aankaart — en wat de EU AI Act concreet maakt — is uiteindelijk dezelfde vraag: wie bepaalt de spelregels voor AI?

Als dat debat wordt gedomineerd door abstracte doemscenario's over superintelligentie, dan missen we het gesprek over zaken die nu spelen. Hoe transparant moeten AI-systemen zijn? Wie is aansprakelijk als een algoritme een fout maakt? Hoe voorkom je dat een handvol bedrijven zowel de technologie als de regulering ervan vormgeeft?

Kun je je voorstellen wat het betekent als die regels worden geschreven zonder input van de bedrijven die ermee moeten werken? Ik denk dat het juist nu belangrijk is dat ondernemers — ook in het MKB — zich mengen in dat gesprek. Niet omdat je expert hoeft te zijn in AI-ethiek, maar omdat je wél expert bent in wat werkbaar is voor jouw bedrijf.

Ik wil hier overigens niet de indruk wekken dat Benanti per definitie gelijk heeft en dat existentieel risico onbelangrijk is. Daar heb ik simpelweg niet genoeg kennis over om een stellige uitspraak te doen. Maar zijn punt dat het huidige debat ons afleidt van concrete governance-vragen — dat vind ik moeilijk te weerleggen.

Tot slot

Voor mij is dit vooral een signaal dat het AI-debat volwassener aan het worden is. Er zijn stemmen — vanuit onverwachte hoeken, zoals het Vaticaan — die zeggen: minder science fiction, meer bestuurskunde. Minder paniek, meer beleid. En als ondernemer merk ik dat dat precies de verschuiving is die we nodig hebben om verstandig met deze technologie om te gaan.