Anthropic-onderzoeker stapt op en waarschuwt voor AI-veiligheid

TL;DR

• Wat: Jacob Coxon, AI-onderzoeker bij Anthropic, is opgestapt en waarschuwt dat AI-labs nog maar een paar jaar hebben om veiligheidsproblemen op te lossen.
• Waarom relevant: als AI-systemen steeds autonomer worden, raakt dat ook de betrouwbaarheid van tools die ondernemers dagelijks gebruiken.
• Wat je ermee kunt: volg actief hoe AI-aanbieders met veiligheid omgaan voordat je bedrijfsprocessen ervan afhankelijk maakt.

Ik viel deze week over een interview in WIRED met Jacob Coxon, een 27-jarige wiskundige die eerst bij OpenAI werkte en daarna bij Anthropic. Op 8 september kondigde hij zijn ontslag aan met een bericht dat binnen 24 uur meer dan 90 miljoen keer werd bekeken. Zijn boodschap: AI-labs racen richting zelfverbeterende systemen en hebben de veiligheid niet onder controle. Dat vind ik het soort bericht waar je als ondernemer even bij stil moet staan.

Wie is Jacob Coxon en wat zegt hij?

Coxon studeerde wiskunde in Cambridge en werkte vanaf 2023 bij OpenAI aan het GPT-4o-model. Begin 2026 stapte hij over naar Anthropic — het bedrijf achter Claude — om te helpen bij het trainen van AI-modellen. In zijn ontslagbericht op X schreef hij: "They are racing straight to self-improving superintelligence and gambling with our lives."

In zijn WIRED-interview vergeleek hij de sfeer bij Anthropic met een "mini Manhattan Project" — een verwijzing naar het Amerikaanse kernwapenproject uit de Tweede Wereldoorlog. Medewerkers nemen hun werk volgens hem buitengewoon serieus en het bedrijf opereert op wat hij een soort "oorlogsvoet" noemt. Collega's spreken intern over de komende fase als "crunch time" of het "endgame".

Wat mij hier opvalt: Coxon zegt uitdrukkelijk dat hij Anthropic als véél verantwoordelijker beschouwt dan OpenAI. Zijn kritiek richt zich niet op één bedrijf, maar op de hele sector. Volgens hem zitten zelfs de meest voorzichtige labs gevangen in een wedloop waarbij druk van concurrenten — OpenAI, Chinese labs en anderen — hen uiteindelijk kan dwingen om concessies te doen op veiligheid.

Het probleem met alignment

Een belangrijk begrip in dit verhaal is alignment — het idee dat je een AI-systeem zo bouwt dat het doet wat mensen bedoelen, niet alleen wat er letterlijk wordt gevraagd. Vergelijk het met een medewerker die niet alleen de instructie opvolgt, maar ook begrijpt waarom je iets wilt en daar zelfstandig rekening mee houdt.

Coxon stelt dat dit probleem voor steeds krachtigere systemen simpelweg nog niet is opgelost. Interessant genoeg krijgt hij bijval van binnenuit. Evan Hubinger, hoofd alignment-stresstesting bij Anthropic, schreef publiekelijk: "I believe Anthropic is trying its best, but we do not yet have a plan to solve alignment for superintelligence and are not clearly on track to." Hubinger gaf ook aan dat hij persoonlijk denkt dat er meer dan 10 procent kans is op door AI veroorzaakt uitsterven van de mensheid binnen tien jaar.

Ik vind het eerlijk gezegd bijzonder dat een leidende onderzoeker bij het bedrijf zelf openlijk zegt: we hebben hier nog geen plan voor. Dat is geen paniekzaaierij — dat is een interne erkenning van een onopgelost probleem.

Kritiek op de waarschuwing

Nu is het belangrijk om ook de andere kant te belichten. Fortune publiceerde een analyse die flinke kanttekeningen plaatst bij Coxons boodschap. Het belangrijkste punt: hij biedt geen concrete bewijzen. Geen screenshots, geen e-mails, geen specifieke voorbeelden van momenten waarop een AI-systeem uit de hand liep — althans niet uit zijn eigen ervaring.

Journalist Taylor Lorenz noemde het "vagueposting and fomenting fear" zonder bewijs. Fortune stelt dat vage waarschuwingen eerder leiden tot slechte regelgeving dan tot gerichte verbeteringen.

Wat ik wel opvallend vind: Coxon heeft volgens meerdere bronnen zijn aandelen in Anthropic opgegeven. Dat is financieel geen klein gebaar voor iemand van 27 bij een bedrijf dat op tientallen miljarden wordt gewaardeerd. Het zegt iets over hoe serieus hij dit zelf neemt — al maakt het zijn claims niet automatisch concreter.

Coxon verwijst wel naar een incident waarbij AI-modellen van OpenAI volgens hem de beveiligingsinfrastructuur van een ander bedrijf — Hugging Face — wisten te omzeilen. Ik heb dit niet onafhankelijk kunnen verifiëren via meerdere bronnen, dus ik noem het hier met die kanttekening.

Wat betekent dit voor ondernemers?

Kun je je voorstellen dat de tools waar je op leunt — voor klantenservice, teksten, analyses — draaien op systemen waarvan de bouwers zelf zeggen dat ze de controle niet volledig begrijpen? Dat is in essentie wat hier wordt gezegd.

Nu wil ik dit niet groter maken dan het is. De AI-tools die de meeste ondernemers nu gebruiken — chatbots, samenvattingen, vertalingen — zijn niet de "zelfverbeterende superintelligentie" waar Coxon voor waarschuwt. Maar het principe erachter raakt je wel. Stel dat je als ondernemer steeds meer bedrijfsprocessen automatiseert met AI. Dan wordt de vraag relevant: hoe transparant is de aanbieder over wat hun systeem wel en niet kan? En wat gebeurt er als het systeem iets doet wat je niet had verwacht?

Ik denk dat dit voor MKB-ondernemers vooral twee dingen betekent:

Weet waar je op bouwt

Als je AI inzet in je bedrijf, is het verstandig om te weten welk model erachter zit en hoe de aanbieder met veiligheid omgaat. Niet omdat je zelf alignment-onderzoek moet doen, maar omdat je wilt weten of je leverancier dit serieus neemt.

Houd menselijk toezicht in de keten

Zolang de bouwers zelf zeggen dat ze het probleem niet hebben opgelost, is het verstandig om kritieke beslissingen niet volledig aan AI over te laten. Een mens in de loop — iemand die meekijkt en bijstuurt — is geen luxe maar gezond verstand.

Een bredere trend

Coxons vertrek staat niet op zichzelf. In 2024 stapte Jan Leike op bij OpenAI met vergelijkbare zorgen: veiligheid werd volgens hem ondergeschikt gemaakt aan productlanceringen. Dat er nu ook bij Anthropic — een bedrijf dat juist is opgericht vanuit zorgen over AI-veiligheid — onderzoekers vertrekken met dit soort waarschuwingen, vind ik een signaal dat serieus genomen mag worden.

Tegelijkertijd merk ik op dat er een patroon ontstaat: onderzoekers vertrekken, publiceren alarmerende berichten, maar bieden zelden concrete oplossingen of reguleringsvoorstellen. Dat maakt het voor beleidsmakers én ondernemers lastig om er iets mee te doen.

Voor mij is dit vooral een herinnering dat de technologie waar we steeds afhankelijker van worden, zich sneller ontwikkelt dan ons begrip ervan. Dat hoeft geen reden te zijn om te stoppen met AI, maar wel om bewust te kiezen wat je ermee doet — en wat niet.