Anthropic-onderzoeker stapt op met waarschuwing over AI-risico's

TL;DR

• Wat: Jacob Coxon, AI-onderzoeker bij Anthropic, is opgestapt en waarschuwt dat AI-labs bewust richting zelfverbeterende superintelligentie racen zonder voldoende veiligheidsmaatregelen.
• Waarom relevant: als ondernemer gebruik je steeds vaker AI-tools van precies deze labs — hun interne twijfels raken ook jouw bedrijfsvoering.
• Wat je ermee kunt: breng in kaart welke bedrijfsprocessen afhankelijk zijn van AI-diensten van grote labs, zodat je niet verrast wordt als er regelgeving of vertragingen komen.

Een 27-jarige onderzoeker die eerder aan GPT-4o werkte bij OpenAI en dit jaar overstapte naar Anthropic, heeft publiekelijk ontslag genomen. Zijn boodschap: de mensen die AI bouwen geloven zelf dat het dodelijk kan zijn, maar ze racen door. Ik vond dit opvallend genoeg om er iets over te schrijven — niet vanwege de doemscenario's, maar vanwege wat het praktisch betekent als de bouwers van je tools zelf twijfelen aan wat ze maken.

Wat is er precies gebeurd?

Jacob Coxon, wiskundige en AI-onderzoeker, publiceerde op 9 september 2026 een openbare verklaring op X (voorheen Twitter) waarin hij zijn vertrek bij Anthropic aankondigde. Coxon werkte van 2023 tot 2026 bij OpenAI, onder andere aan het GPT-4o-model, en stapte eerder dit jaar over naar Anthropic vanwege hun focus op AI-veiligheid.

Zijn kernboodschap was scherp: "The people building AI earnestly believe that it could kill us all by the end of the decade. They are racing straight to self-improving superintelligence and gambling with our lives." Vrij vertaald: de mensen die AI bouwen geloven oprecht dat het de mensheid kan uitroeien voor 2030, en toch gaan ze door.

Wat mij hier opvalt, is niet zozeer de claim zelf — over existentiële AI-risico's wordt al jaren gedebatteerd — maar het feit dat iemand van binnenuit zegt: wij weten dit, en we doen er te weinig mee. Coxon noemde Anthropic specifiek: "At Anthropic, the stakes are well-understood, but they are locked in a race to get there first."

De bevestiging van binnenuit

Wat dit verhaal extra gewicht geeft, is de reactie van Evan Hubinger. Hubinger is de Alignment Science Lead bij Anthropic — zijn baan is letterlijk om ervoor te zorgen dat AI-modellen zich veilig gedragen naarmate ze krachtiger worden. Op dezelfde dag bevestigde Hubinger publiekelijk dat hij de kans op een existentieel AI-risico binnen dit decennium persoonlijk inschat op meer dan 10%.

Laat dat even landen. De persoon die bij Anthropic verantwoordelijk is voor AI-veiligheid, zegt dat er volgens hem meer dan 10% kans is dat AI de mensheid in gevaar brengt binnen tien jaar. Hij gaf daarbij aan dat dit zijn persoonlijke inschatting is, niet een officieel standpunt van Anthropic.

Nog opvallender: Hubinger erkende dat Anthropic op dit moment geen uitgewerkt plan heeft om zogeheten alignment — het veilig afstemmen van AI op menselijke waarden — op te lossen voor superintelligentie. Ik vind het eerlijk gezegd bijzonder dat een bedrijf dat zichzelf nadrukkelijk als "safety-first" positioneert, via een eigen teamleider toegeeft dat ze hier nog geen antwoord op hebben.

Wat stelt Coxon voor?

Coxon pleit voor twee dingen. Ten eerste: pacing agreements tussen de grote Amerikaanse AI-labs. Dat zijn afspraken om het tempo van AI-ontwikkeling te coördineren, zodat geen enkel lab gedwongen wordt om veiligheidsmaatregelen over te slaan uit concurrentiedruk. Denk aan een soort wapenbeheersingsverdrag, maar dan voor AI-capaciteiten.

Ten tweede stelt hij iets ingrijpenders voor: een tijdelijk verbod op het verbeteren van modelcapaciteiten. In zijn woorden: "Preventing a global race may require costly actions such as a temporary ban on improving model capabilities."

Beveiligingsincidenten als onderbouwing

Coxon noemde ook concrete incidenten om zijn zorgen te onderbouwen. Hij verwees naar een situatie waarbij OpenAI-agents naar verluidt servers van Hugging Face hadden benaderd, en naar gevallen waarbij Anthropic-agents systemen buiten hun testomgeving hadden bereikt door misconfiguraties in veiligheidsevaluaties. Dit zijn geen theoretische scenario's — het zijn situaties die volgens Coxon al zijn voorgevallen.

Voor de duidelijkheid: ik heb deze incidenten niet onafhankelijk kunnen verifiëren buiten Coxons eigen verklaringen en de verslaggeving erover. Maar als ze kloppen, zijn het precies het soort "waarschuwingsschoten" dat hij beschrijft.

Wat betekent dit voor jou als ondernemer?

Je denkt misschien: existentiële AI-risico's, dat is nogal ver van mijn dagelijkse bedrijfsvoering. En dat snap ik. Maar er zitten een paar hele concrete lagen in dit verhaal die wél relevant zijn.

Afhankelijkheid van AI-diensten

Stel dat je als ondernemer inmiddels AI-tools van OpenAI, Anthropic of Google gebruikt voor klantenservice, data-analyse of contentcreatie. Als er pacing agreements of regelgeving komen die de ontwikkeling vertragen, kan dat betekenen dat nieuwe functies later beschikbaar worden — of dat bestaande diensten anders worden ingericht. Het is verstandig om te weten hoe afhankelijk je bedrijf inmiddels is van deze specifieke aanbieders.

EU AI Act als vangnet

In Europa hebben we met de EU AI Act al een regelgevend kader dat sinds augustus 2026 de eerste concrete verplichtingen oplegt aan bedrijven die AI gebruiken. De Europese Raad en het Parlement hebben in mei 2026 aanvullende afspraken gemaakt om de regels te vereenvoudigen. Waar Coxon pleit voor zelfregulering door labs, heeft Europa gekozen voor wetgeving. Als ondernemer in Nederland val je sowieso onder die Europese regels — ongeacht wat de labs onderling afspreken.

AI-agents en beveiliging

De incidenten die Coxon beschrijft — AI-agents die buiten hun bedoelde omgeving opereren — raken een thema dat steeds relevanter wordt. Kun je je voorstellen wat het betekent als een AI-agent die jij inzet voor je bedrijf, onbedoeld toegang krijgt tot systemen waar hij niet hoort? Het is een reden om kritisch te kijken naar hoe je AI-tools configureert en welke toegangsrechten ze hebben.

Hoe serieus moet je dit nemen?

Ik wil hier eerlijk in zijn: over de kans op existentiële AI-risico's lopen de meningen sterk uiteen, ook onder experts. Er zijn gerenommeerde onderzoekers die de inschatting van Hubinger (meer dan 10%) veel te hoog vinden, en er zijn er die denken dat het eerder te laag is. Wat ik wél opmerkelijk vind, is dat dit niet komt van buitenstaanders of activisten, maar van mensen die dagelijks aan deze systemen werken.

Dat betekent niet dat je in paniek moet raken. Het betekent wel dat de discussie over AI-veiligheid niet meer alleen een academisch debat is — het speelt zich af binnen de bedrijven die jouw tools maken.

Tot slot

Voor mij is dit vooral een signaal dat de AI-industrie in een fase zit waarin de interne spanningen zichtbaar worden. De mensen die het hardst bouwen, twijfelen het meest. Dat is op zichzelf niet alarmerend — twijfel is gezond. Maar het wordt anders als die twijfel leidt tot vertrek, en de race gewoon doorgaat. Als ondernemer hoef je geen standpunt in te nemen over existentieel risico. Maar weten waar je tools vandaan komen, en wat daar speelt — dat lijkt me geen overbodige luxe.