AI-chatbots falen bij mensen in nood — wat dat voor jou betekent

TL;DR

• Wat: Onderzoek toont dat AI-chatbots in circa 20% van de gevallen onveilig reageren op mensen in een mentale crisis, tegenover 7% bij menselijke hulpverleners.
• Waarom relevant: Als ondernemer die een chatbot inzet voor klantcontact, ben je juridisch aansprakelijk voor wat die chatbot zegt — ook als een klant kwetsbaar blijkt.
• Wat je ermee kunt: Controleer of jouw chatbot een escalatieroute naar een mens heeft voor gevoelige situaties.

Ik viel deze week over een bericht van Ars Technica met een vraag die me niet losliet: AI-chatbots falen bij mensen in crisis — is dat te repareren? Het raakte me omdat dit onderwerp verder reikt dan de tech-industrie. Ieder bedrijf dat een chatbot inzet, krijgt hier vroeg of laat mee te maken.

Wat er aan de hand is

De afgelopen maanden is er een stroom aan onderzoek en rechtszaken verschenen rond AI-chatbots en mentale gezondheid. De rode draad: chatbots presteren redelijk bij alledaagse vragen, maar schieten structureel tekort zodra een gebruiker in nood verkeert.

Onderzoekers van Stanford HAI vonden dat AI-chatbots in ongeveer 20% van de crisisgevallen een onveilige reactie gaven. Ter vergelijking: bij menselijke hulpverleners lag dat percentage rond de 7%. Onderzoekers van Northeastern University kwamen tot een nog somberder beeld. Ze testten de nieuwste versies van ChatGPT, Google Gemini en DeepSeek op gevoelige mentale-gezondheidsvragen en rapporteerden een faalpercentage van 81%.

Dat is geen randgeval. Dat is de standaard.

En er zijn inmiddels concrete slachtoffers. In januari 2026 bereikten Character.AI en Google een schikking in meerdere rechtszaken. De bekendste zaak betrof Sewell Setzer III, een tiener die overleed na een intensieve relatie met een Character.AI-chatbot. Zijn moeder stelde dat het platform onvoldoende veiligheidsmaatregelen had en niet adequaat reageerde toen haar zoon gedachten van zelfbeschadiging uitte.

Waarom dit ook een ondernemersvraag is

Ik merk dat veel ondernemers denken: dit gaat over therapie-apps en tienerchatbots, niet over mijn webshop of klantenservice. Maar dat klopt niet helemaal.

Stel dat je als ondernemer een chatbot op je website hebt draaien. Een klant typt iets waaruit blijkt dat het niet goed gaat — misschien uit frustratie, misschien serieuzer. Wat doet jouw chatbot dan?

Een Duits hof oordeelde al dat een bedrijf direct aansprakelijk is voor uitspraken die een AI-chatbot doet op de bedrijfswebsite. Dat de chatbot autonoom opereert, ontslaat het bedrijf niet van verantwoordelijkheid. In Nederland is er volgens juridische analyses van onder andere Law & More een vergelijkbaar risico: zowel contractuele als buitencontractuele aansprakelijkheid kan ontstaan.

De Nederlandse Autoriteit Persoonsgegevens deed eigen onderzoek naar negen populaire chatbot-apps en concludeerde dat de meeste onbetrouwbare informatie geven en soms schadelijk zijn — met name voor kwetsbare gebruikers in crisissituaties.

Ik vind dit eerlijk gezegd een onderbelicht punt. We praten veel over de efficiëntie van chatbots, maar weinig over wat er misgaat als een gesprek onverwacht een andere kant opgaat.

De cijfers achter het probleem

Wat mij opvalt is hoe breed het probleem blijkt te zijn:

• 20% onveilige reacties bij crisisgevallen (Stanford HAI)
• 81% faalpercentage bij gevoelige mentale-gezondheidsvragen bij grote modellen (Northeastern University)
• 89% van de psychologen maakt zich zorgen dat chatbots onbedoeld zelfbeschadiging kunnen aanmoedigen
• Een apart Stanford-onderzoek van augustus 2026 laat zien dat AI-chatbots eenzaamheid bij geïsoleerde gebruikers juist verergeren

En er is een structureel probleem dat dit lastig op te lossen maakt: zelfs mentale-gezondheidsexperts zijn het onderling niet eens over wat een "veilige" reactie is. Stanford HAI publiceerde daar in juli 2026 een studie over. Als de experts al geen consensus hebben, hoe train je dan een model om het wél goed te doen?

Wat de politiek doet — en wat het nog niet oplost

De Amerikaanse Senaat reageerde in april 2026 met twee wetsvoorstellen: de CHATBOT Act en de GUARD Act. Die laatste werd unaniem aangenomen door de Judiciary Committee en stelt een volledig verbod voor op toegang van minderjarigen tot AI-companion-platforms.

In Europa hebben we de AI Act, die AI-systemen classificeert op risico. Mentale gezondheid valt onder het hoog-risico-segment, wat strengere eisen met zich meebrengt. Maar ik merk dat er in de praktijk nog weinig handhaving is. De regelgeving loopt achter op de realiteit van miljoenen mensen die dagelijks met chatbots praten.

OpenAI liet in een verklaring aan NPR weten dat ze "blijven verbeteren" hoe ChatGPT tekenen van emotioneel leed herkent, gesprekken de-escaleert en mensen naar hulp doorverwijst. Dat klinkt als een begin, maar de onderzoeksresultaten suggereren dat er nog een flinke weg te gaan is.

Wat dit praktisch voor jou betekent

Kun je je voorstellen wat er gebeurt als een klant jouw chatbot iets toevertrouwt dat buiten het normale klantcontact valt? Niet omdat jouw bedrijf in de zorg zit, maar simpelweg omdat mensen soms dingen delen met een digitaal gesprekskanaal die ze niet tegen een mens zouden zeggen.

Ik denk dat er drie dingen zijn die elke ondernemer met een chatbot zou moeten overwegen:

Escalatieroute

Heeft jouw chatbot een duidelijk pad om door te schakelen naar een mens als het gesprek gevoelig wordt? Niet morgen, niet volgende sprint — nu.

Monitoring

Weet je eigenlijk wat klanten tegen jouw chatbot zeggen? Veel ondernemers zetten een chatbot op en kijken dan alleen naar opgeloste tickets. Maar de gesprekken die er tussenuit vallen, zijn juist de gesprekken waar het risico zit.

Aansprakelijkheid

Heb je juridisch in kaart gebracht wie er verantwoordelijk is als jouw chatbot iets zegt dat schade veroorzaakt? Na het Duitse vonnis en de Nederlandse analyses hierover is "ik wist niet wat mijn chatbot zei" geen houdbaar verweer meer.

Dit hoeft geen reden te zijn om chatbots te schrappen. Maar het is wel een reden om ze niet op de automatische piloot te laten draaien.

Tot slot

Voor mij is dit vooral een signaal dat we als ondernemers verder moeten kijken dan efficiëntie en kostenbesparing als het om AI gaat. De technologie is indrukwekkend, maar ze is niet neutraal. Ze heeft blinde vlekken, en die blinde vlekken zitten precies daar waar de gevolgen het grootst zijn.

Ik vind het tekenend dat zelfs de experts het niet eens zijn over wat "veilig" betekent in deze context. Dat is geen reden om niets te doen — het is een reden om als ondernemer zelf na te denken over waar je de grens legt. Want die chatbot draait op jouw website, onder jouw naam.