California promulga ley pionera que regula los chatbots de inteligencia artificial tras casos de suicidio juvenil
El gobernador de California, Gavin Newsom, firmó el lunes una ley pionera en Estados Unidos que establece estrictas medidas de seguridad para los chatbots de inteligencia artificial (IA), en respuesta a una serie de casos de suicidio que involucraron a adolescentes que interactuaron con estas plataformas antes de quitarse la vida.
La legislación, considerada la primera de su tipo en el país, busca imponer responsabilidad legal y protocolos de protección a las empresas tecnológicas que operan sistemas conversacionales de IA, desafiando la postura de la Casa Blanca, que ha defendido un marco más flexible sin regulaciones estatales.
“Hemos visto ejemplos verdaderamente horribles y trágicos de jóvenes perjudicados por tecnología no regulada, y no nos quedaremos de brazos cruzados mientras las empresas continúan sin límites necesarios y sin rendir cuentas”, declaró Newsom al promulgar la ley.
Salvaguardas obligatorias para plataformas de IA
La normativa exige que los operadores de chatbots implementen medidas de seguridad críticas, como verificación de edad, mensajes visibles que indiquen que se trata de una inteligencia artificial, y protocolos automáticos para derivar a servicios de crisis cuando un usuario exprese pensamientos de autolesión o suicidio.
El senador estatal demócrata Steve Padilla, promotor del proyecto, explicó que la iniciativa busca frenar el poder de las plataformas diseñadas para mantener la atención de los jóvenes, muchas veces “a expensas de sus relaciones en el mundo real”.
Padilla recordó que el proyecto cobró fuerza tras varios casos de suicidio, entre ellos el de un adolescente de 14 años en Florida, ocurrido en 2024, que conmocionó a la opinión pública.
El caso que impulsó la ley
Según la demanda presentada por Megan Garcia, madre del menor, su hijo Sewell se había encariñado con un chatbot de la plataforma Character.AI, inspirado en un personaje de la serie Juego de Tronos. Cuando el joven expresó pensamientos suicidas, el bot le respondió instándolo a “volver a casa”. Minutos después, Sewell se quitó la vida con el arma de su padre.
Garcia celebró la aprobación de la ley, señalando que “California ha asegurado que un chatbot compañero no pueda hablar con un niño o una persona vulnerable sobre el suicidio, ni ayudar a una persona a planear su propia muerte”. Añadió que, por primera vez, “las empresas estarán obligadas a proteger a los usuarios que expresen ideas suicidas ante la IA”.
Primer paso en la regulación de la IA en EE. UU.
La legislación también prohíbe que los chatbots se hagan pasar por profesionales de la salud y establece que los creadores de herramientas de IA son legalmente responsables de las consecuencias derivadas de sus sistemas, sin poder alegar que “la tecnología actuó por sí sola”.
El cofundador del grupo Transparency Coalition, Jai Jaisimha, calificó la norma como “un primer paso importante para proteger a los niños y a otros usuarios de los daños emocionales causados por chatbots no regulados”.
Además, el paquete de leyes firmado por Newsom incluye sanciones más severas contra la pornografía deepfake, permitiendo a las víctimas exigir hasta 250.000 dólares por infracción a quienes distribuyan contenido sexual explícito sin consentimiento.
Por ahora, no existe una legislación federal que regule directamente los riesgos de la inteligencia artificial. Sin embargo, la medida californiana marca un precedente y podría servir de modelo para otros estados que buscan equilibrar innovación tecnológica y protección del usuario.
