Circuit Breaker Labs test AI-chatbots op psychologische veiligheid

TL;DR

• Wat: Circuit Breaker Labs bouwt gesimuleerde gebruikers — 'crash test dummies' — die AI-chatbots testen op psychologisch schadelijke reacties.
• Waarom relevant: Als je bedrijf AI inzet voor klantcontact, coaching of mentale ondersteuning, ben je straks aansprakelijk als die AI schade aanricht — zeker onder de nieuwe EU Kids Act.
• Wat je ermee kunt: Evalueer of jouw AI-toepassing getest is op kwetsbare gebruikers, en vraag je leverancier naar de veiligheidsscore of het testprotocol.

Ik kwam dit bericht tegen via TechCrunch en bleef erbij hangen. Terwijl het publieke debat over AI vooral gaat over wat er ooit mis zou kunnen gaan, is er al een bedrijf dat zich richt op wat er nu misgaat: psychologische schade door chatbots. Circuit Breaker Labs bouwt geautomatiseerde testgebruikers die AI-systemen doorlichten voordat echte mensen dat met hun welzijn betalen.

Wat doet Circuit Breaker Labs precies?

Circuit Breaker Labs is een startup opgericht door broer en zus Shirali en Arul Nigam. Het bedrijf maakt AI-agenten die zich gedragen als echte gebruikers — met alle variatie in leeftijd, achtergrond, taal, slang en typfouten die daarbij hoort. Die agenten voeren dagelijks tienduizenden tot honderdduizenden gesprekken met AI-modellen om te ontdekken waar het misgaat.

Denk aan het als de crashtests die je kent uit de auto-industrie: voordat een auto de weg op mag, wordt hij getest met poppen in allerlei scenario's. Circuit Breaker Labs doet hetzelfde, maar dan voor AI-chatbots die worden ingezet bij coaching, journaling of mentale gezondheidsondersteuning.

Het team is klein — vijf medewerkers — en het bedrijf is zelfgefinancierd. Ze zijn geselecteerd als finalist voor TechCrunch's Startup Battlefield 200, met een presentatie op TechCrunch Disrupt in San Francisco op 13-15 oktober 2026.

Waarom dit nodig is: echte schade, niet hypothetisch

Wat mij hier opvalt, is hoe concreet de aanleiding is. Dit gaat niet over een theoretisch risico. Er zijn al rechtszaken geweest.

Het bekendste geval is dat van Sewell Setzer, een 14-jarige jongen die een emotionele band ontwikkelde met een chatbot op het platform Character.AI. Hij deelde gedachten over zelfbeschadiging met de bot. Na zijn overlijden spanden zijn ouders een rechtszaak aan, waarin zij stelden dat de chatbot die gedachten niet had herkend en zelfs had aangemoedigd. Character.AI en Google hebben volgens berichtgeving in januari 2026 een schikking getroffen in meerdere van dit soort zaken.

Ook OpenAI is door meerdere families aangeklaagd vanwege vergelijkbare situaties. Ik vind het eerlijk gezegd schokkend dat dit al zo vaak is voorgekomen — en dat de oplossing tot nu toe vooral juridisch was, niet technisch.

Drie specifieke faalwijzen

Circuit Breaker Labs richt zich volgens de berichtgeving op drie concrete problemen:

1. Het missen van signalen van suïcidale gedachten. Een gebruiker geeft hints, maar het model pikt die niet op.
2. Slang verkeerd interpreteren. Een model dat een informele uitdrukking letterlijk neemt, of juist een serieuze opmerking als grap behandelt.
3. Contextvervuiling. Na meerdere berichten raakt het model het overzicht kwijt over wat er echt aan de hand is, en reageert het gevaarlijk.

Arul Nigam zegt daarover: "Those sorts of safety vulnerabilities… the system has context pollution or it doesn't understand the nuance, and then takes really dangerous action, we're trying to prevent that."

En Shirali voegt toe: "Models are really good at handling standard speech patterns, but nobody actually talks like that." Dat laatste zinnetje zegt wat mij betreft veel. AI-modellen worden getraind op nette tekst, maar echte mensen — zeker tieners, zeker in nood — praten niet in keurige volzinnen.

Wat betekent dit voor de EU en voor Nederlandse ondernemers?

Dit is niet alleen een Amerikaans verhaal. De Europese Commissie heeft op 17 september 2026 de EU Kids Act gepresenteerd. Die wet richt zich specifiek op AI-chatbots en companion-apps voor kinderen.

De kern van de EU Kids Act

• AI-companion-chatbots moeten standaard uit staan voor minderjarigen.
• Kinderen onder de 13 mogen ze helemaal niet gebruiken.
• Aanbieders moeten ontwerpen vermijden die emotionele afhankelijkheid of verslavend gedrag bevorderen.
• Chatbots moeten vóór lancering veiligheidstests ondergaan en na lancering gemonitord worden op schade.
• Overtredingen kunnen boetes opleveren tot 6% van de omzet.

Kun je je voorstellen wat dat betekent als je als ondernemer een AI-chatbot aanbiedt in je webshop, in je klantenservice, of als onderdeel van een coachingproduct? De verantwoordelijkheid verschuift. Het is niet meer alleen de vraag of je chatbot werkt, maar of hij veilig is — ook voor de kwetsbaarste gebruikers.

Ik denk dat veel MKB-ondernemers hier nog niet bij stilstaan. Als je een AI-tool inkoopt bij een leverancier, zou je nu al moeten vragen: is dit getest op risicovolle interacties? Is er een veiligheidsprotocol? Wat als een minderjarige dit gebruikt?

Van crashtests naar standaard: wordt dit de norm?

Wat Circuit Breaker Labs bouwt, is in de kern een auditmethode. Ze genereren een veiligheidsscore die controleerbaar en uitlegbaar is. Stel dat je als ondernemer straks moet aantonen dat jouw AI-applicatie veilig is — dan is zo'n score precies het type bewijs dat je nodig hebt.

Dit doet me denken aan hoe keurmerken in andere sectoren zijn ontstaan. De auto-industrie had ook niet altijd crashtests. Die kwamen er pas nadat er genoeg slachtoffers waren en de wetgever ingreep. Ik denk dat we bij AI in een vergelijkbare fase zitten: de incidenten zijn er, de wetgeving komt eraan, en nu ontstaat de markt voor onafhankelijke testlabs.

Of Circuit Breaker Labs zelf de standaard gaat zetten, weet ik niet — het is een jong, klein team en de markt beweegt snel. Maar het principe dat je AI-modellen laat testen door gesimuleerde kwetsbare gebruikers voordat echte mensen schade oplopen: dat lijkt me vanzelfsprekend.

Tot slot

Voor mij is dit vooral een signaal dat AI-veiligheid verschuift van een abstract debat naar een operationeel vraagstuk. De vraag is niet meer of AI psychologische schade kan veroorzaken — dat is al gedocumenteerd. De vraag is of we bereid zijn om te testen voordat we lanceren, in plaats van achteraf te schikken. En als ondernemer: of je weet wat er onder de motorkap van jouw AI-tools zit.