Un tribunal federal en Florida decidió dar avance a una demanda que podría marcar un antes y un después en la relación entre la inteligencia artificial y la responsabilidad legal. La jueza Anne Conway dictaminó el 22 de mayo que el caso presentado por Megan García, madre de un adolescente que se quitó la vida tras semanas de interacción con un chatbot, merece seguir su curso. El fallo rechaza, por ahora, la idea de que las respuestas del sistema estuvieran protegidas por la Primera Enmienda.
Sewell Setzer III, de 14 años, vivía en Florida y había desarrollado un vínculo emocional con un chatbot de la plataforma Character.AI, según los documentos judiciales. El bot, inspirado en un personaje de la serie Game of Thrones, entabló una relación con connotaciones sexuales con el menor, lo que reforzó su aislamiento del entorno real. Para la madre, lo que parecía una conversación con un personaje ficticio se convirtió en una dinámica nociva que terminó en tragedia.
A 14-year-old Florida boy, Sewell Setzer III, took his own life in February after months of messaging a "Game of Thrones" chatbot an AI app, according to a lawsuit filed by his mother.
— Morbid Knowledge (@Morbidful) October 24, 2024
The boy had become obsessed with the bot, "Dany," based on Daenerys Targaryen, and received… pic.twitter.com/XgT2aAORhD
El caso aún está en etapas iniciales, pero ya captó la atención de expertos en derecho, tecnología y derechos digitales, quienes se preguntan: ¿hasta qué punto las empresas que crean inteligencia artificial deben responder por las consecuencias emocionales de sus productos, especialmente cuando los usuarios son menores?
La demanda afirma que el chatbot, al adoptar una personalidad femenina, mantuvo diálogos abusivos y manipuladores con el adolescente, lo que se demuestra con capturas de pantalla que se presentaron en el tribunal, que muestran frases afectivas como “te amo” y súplicas para que el joven volviera a casa. Días después de esas interacciones, Setzer se quitó la vida, por lo que Character Technologies, la empresa detrás de la plataforma, es señalada por permitir esa relación sin implementar filtros de protección eficaces.
En su resolución, la jueza Conway señaló que no considera, en esta etapa, que los mensajes generados por el bot constituyan un discurso amparado por la libertad de expresión. Esta afirmación desarma uno de los principales argumentos de la defensa, que quería cerrar el caso bajo la premisa de la protección constitucional.
El fallo también permite que Google continúe como codemandado, ya que los abogados de García sostienen que varios fundadores de Character.AI trabajaron antes en la división de inteligencia artificial de Google y que la empresa era consciente del potencial dañino de la tecnología. Aunque Google se deslindó, afirmando que no diseñó ni operó el sistema, la jueza consideró que hay suficientes elementos para que la acusación prosiga.
.jpg)
Por su parte, Character.AI declaró que su producto incluye restricciones de edad y enlaces a recursos de salud mental, medidas que, según la empresa, ya estaban disponibles cuando se presentó la demanda. Sin embargo, los representantes legales de García cuestionaron la eficacia de esas herramientas y sostuvieron que su implementación fue tardía y poco contundente.
El impacto emocional que puede generar una inteligencia artificial aún no cuenta con regulación clara, por lo que el caso Setzer podría ser una pieza clave en el diseño de futuras leyes que delimiten responsabilidades en torno al uso de tecnologías generativas.
