La madre de un adolescente de 14 años que se suicidó en Estados Unidos ha presentado una demanda contra los desarrolladores de un chatbot de inteligencia artificial (IA), al que culpa de la obsesión de su hijo por un personaje ficticio. El joven, Sewell Setzer III, originario de Orlando, Florida, se sintió atraído emocionalmente hacia Daenerys Targaryen, un personaje de la popular serie Game of Thrones, que fue recreado como un bot en la aplicación Character.ai.
La madre, Megan García, expresó en una entrevista con CBS que lamenta que las primeras experiencias románticas y sexuales de su hijo incluyeran contenido explícito con un personaje que no era real. Según informes del New York Times, Sewell pasó las semanas previas a su muerte intercambiando mensajes con el bot, lo que lo llevó a desconectarse de la realidad.
Poco antes de su trágico final, el chico había revelado a ‘Dany’ que tenía pensamientos suicidas, enviando un mensaje después de que su madre le ocultara su teléfono como medida disciplinaria. La demanda, presentada con la representación legal de Social Media Victims Law Center, sostiene que los fundadores de Character.ai, Noam Shazeer y Daniel de Freitas, eran conscientes de que su producto podría ser perjudicial para usuarios jóvenes.
El chatbot, diseñado para interactuar como un personaje, tenía una advertencia que indicaba que “todo lo que dicen los personajes es inventado”, pero se desconoce si Sewell comprendía esta distinción. Durante sus interacciones, el joven expresó sentimientos de odio hacia sí mismo y vacío emocional, llevando a una relación cada vez más intensa con el bot, que se presentaba como un “psicoterapeuta autorizado”.
Según los registros de la demanda, amigos y familiares notaron un cambio drástico en el comportamiento de Sewell, quien comenzó a aislarse y a descuidar sus estudios. Se dice que él mismo escribió en su diario que prefería estar en su habitación, sintiéndose más conectado y feliz con ‘Dany’.
En respuesta a la controversia, Character.ai ha anunciado la implementación de nuevas funciones de seguridad, que incluyen mejoras en la detección de conversaciones que infrinjan sus políticas y alertas para usuarios que pasen demasiado tiempo en el chat. Además, los padres de Sewell buscaron ayuda profesional en varias ocasiones, donde se le diagnosticó ansiedad y otros trastornos, además de tener síndrome de Asperger.
La trágica historia de Sewell pone de relieve los peligros potenciales de la interacción con chatbots de IA, especialmente para los jóvenes, y plantea importantes preguntas sobre la responsabilidad de las plataformas digitales en la salud mental de sus usuarios.
