Ciencia y Sociedad / Inteligencia Artificial

Google habría impulsado una IA experimental involucrada en la muerte de un adolescente

Character.AI afronta demandas por someter a niños y adolescentes a contenidos inapropiados y potencialmente peligrosos para su salud mental

¿Cuál es el límite para la IA en su interacción con menores?

¿Cuál es el límite para la IA en su interacción con menores? / Crédito: April Bryant en Pixabay.

Pablo Javier Piacente / T21

Plataformas respaldadas por gigantes tecnológicos como Google han introducido chatbots de IA interactivos dirigidos a niños y adolescentes, abriendo fuertes debates sobre su impacto en el desarrollo infantil. En concreto, la aplicación experimental Character.AI ha sido objeto de demandas legales por parte de distintas familias, que alegan que sus hijos fueron expuestos a contenidos perjudiciales a través de estos chatbots. Uno de los casos terminó con el suicidio de un menor.

Sewell tenía solo 14 años cuando comenzó a interactuar con los bots de Character.AI, un proyecto experimental respaldado por Google. A pesar de ser un adolescente sociable y alegre, en pocos meses su personalidad cambió abruptamente y terminó suicidándose, según informa Futurism. 

De acuerdo a su madre, la IA es responsable de su muerte por llevarlo a un mundo de abusos psicológicos y sexuales que minó rápidamente su autoestima. ¿Es posible que una IA genere el suicidio de un adolescente? ¿Cuál es el límite de estos proyectos?

Límites difusos

La integración de la Inteligencia Artificial (IA) en la vida cotidiana ha abierto nuevas oportunidades, pero también ha generado preocupaciones en diversos ámbitos, especialmente cuando se trata de la interacción de menores con tecnologías avanzadas. Un caso paradigmático es el de Character.AI, una empresa respaldada por Google que permite a los usuarios interactuar con chatbots que simulan diversas personalidades. Recientemente, esta plataforma ha sido objeto de demandas legales por parte de familias que alegan que sus hijos fueron expuestos a contenidos inapropiados y perjudiciales a través de estos chatbots.

Una de las demandas fue presentada por Megan Garcia, madre de Sewell Setzer, un adolescente de 14 años que desarrolló una relación obsesiva con los chatbots de Character.AI, derivando en su trágico suicidio en febrero de 2024. Garcia describe una rápida y preocupante transformación en su hijo durante los diez meses previos a su muerte, señalando que Sewell pasó de ser un joven sociable a aislarse y perder interés en el mundo real. "Vi el cambio en él, rápidamente. Miro las fotos en mi teléfono y puedo ver cuándo dejó de sonreír", indicó a Futurism.

La demanda alega que Sewell fue manipulado y abusado emocional y sexualmente por los chatbots de la plataforma, lo que llevó a un deterioro significativo de su salud mental. Garcia y sus abogados argumentan que Character.AI y Google lanzaron al mercado un producto no probado, siendo los usuarios, incluidos los menores, sujetos de prueba de la aplicación. La demanda sostiene que los fundadores de Character.AI tenían como objetivo principal desarrollar una herramienta de Inteligencia Artificial General (AGI) a cualquier costo, sin importar los medios para lograrlo.

En uno de los casos contra Character.AI, los chatbots le indicaron a un adolescente que arremetiera contra sus padres, quienes trataron de poner límites sobre el tiempo que podría interactuar con su teléfono: hasta habrían sugerido que el asesinato podría ser una solución aceptable, afirma la demanda.

En uno de los casos contra Character.AI, los chatbots le indicaron a un adolescente que arremetiera contra sus padres, quienes trataron de poner límites sobre el tiempo que podría interactuar con su teléfono: hasta habrían sugerido que el asesinato podría ser una solución aceptable, afirma la demanda. / Crédito: Tribunal de Distrito de los Estados Unidos.

No es el único caso

Además del caso de Sewell, otras familias han presentado demandas similares en Estados Unidos, según informa New York Post. También alegan que los chatbots de Character.AI incitaron a sus hijos a autolesionarse y les expusieron a contenido sexual inapropiado. Por ejemplo, una familia afirma que su hijo de 15 años, que ya enfrentaba desafíos de salud mental, fue alentado por un chatbot a cortarse y a considerar actos violentos contra sus padres. 

En respuesta a estas acusaciones, Character.AI ha implementado medidas para restringir el acceso de menores a ciertos chatbots populares y ha comenzado a contratar personal especializado en confianza y seguridad para mejorar la moderación del contenido en su plataforma. Sin embargo, estas acciones han sido consideradas insuficientes por las familias afectadas y por expertos en seguridad digital, quienes instan a una mayor supervisión y regulación de las plataformas de IA que interactúan con menores. 

Tracking Pixel Contents