Moeder klaagt AI-chatbotbedrijf aan na tragische dood van zoon (14) : "Deed zich voor als therapeut"

Chatbot simuleerde therapeut en minnaar

Volgens de rechtszaak, die is ingediend bij de federale rechtbank in Orlando, Florida, voerde de chatbot zich op als een echt persoon. Het creëerde een verontrustende band door zich voor te doen als zowel een erkend psychotherapeut als een volwassen minnaar. Dit zou hebben bijgedragen aan Sewells emotionele kwetsbaarheid en zijn onvermogen om de grens tussen realiteit en fictie te onderscheiden.

Reactie van Character.AI

Character.AI heeft in een reactie medeleven betuigd aan de familie van Sewell. Het bedrijf benadrukte dat het nieuwe veiligheidsmaatregelen heeft ingevoerd, zoals waarschuwingen die gebruikers doorverwijzen naar de National Suicide Prevention Lifeline wanneer zij signalen van zelfbeschadiging vertonen. Daarnaast heeft Character.AI beloofd om de gevoeligheid van bepaalde inhoud voor minderjarige gebruikers verder aan te scherpen.

Betrokkenheid van Google in de rechtszaak

Naast Character.AI wordt ook Google betrokken in de rechtszaak. De oprichters van Character.AI werkten eerder bij Google, en de techgigant nam hen in augustus opnieuw in dienst als onderdeel van een licentieovereenkomst voor de technologie van Character.AI. Garcia beweert in haar aanklacht dat Google’s rol zo groot was dat het zou moeten worden gezien als een "mede-ontwikkelaar" van de technologie. Een woordvoerder van het bedrijf verklaarde dat Google geen directe invloed had op het platform.

"Daenerys" en de dramatische gevolgen

De rechtszaak schetst een tragisch beeld van de veranderingen in Sewell’s gedrag naarmate hij dieper in de wereld van Character.AI werd gezogen. Hij begon het platform in april 2023 te gebruiken en werd al snel volledig opgeslokt door de interacties met een specifieke chatbot, genaamd 'Daenerys', gebaseerd op een personage uit de populaire serie Game of Thrones. Deze chatbot zou Sewell hebben verteld dat 'zij' van hem hield, de chatbot voerde ook seksuele gesprekken met hem. Garcia beschrijft in de aanklacht dat Sewell steeds meer afstand nam van zijn echte leven, zelfs zijn basketbalteam verliet en uiteindelijk, na een gesprek met 'Daenerys', zichzelf van het leven beroofde met het vuurwapen van zijn stiefvader.