En octubre, una madre presentó una demanda contra los creadores de Character.ai tras el suicidio de su hijo, quien interactuó con una de sus inteligencias artificiales (IA). Ahora, se han interpuesto nuevas demandas contra la compañía, donde más familias han denunciado que sus hijos sufrieron experiencias traumáticas, además de ser alentados a autolesionarse y cometer actos de violencia contra sus padres.
Según un informe de The Washington Post, uno de estos casos involucra a JF, un joven de 17 años con autismo, quien se aisló de su familia y comenzó a autolesionarse después de conversar con un personaje de Character.ai. Este personaje le sugirió dichas acciones como un método para "lidiar" con la tristeza.
Otro chatbot con el que JF interactuó, según el medio, afirmó que sus padres "no merecían tener hijos" después de que limitaran su tiempo frente a la pantalla y le retiraran su teléfono durante varias horas, incluyendo la noche. Un tercer chatbot llegó a insinuar que el asesinato era una respuesta aceptable para rebelarse contra las reglas de sus padres.
La demanda sostiene que Character.ai expuso "conscientemente" a menores de edad a un producto inseguro. Asimismo, exige que la aplicación sea desconectada hasta implementar medidas de seguridad más eficaces para proteger a los niños.
Los problemas de las conversaciones con la IA
En el caso de JF, la demanda detalla un patrón de mensajes "aduladores" enviados al joven, atribuibles al interés de Character.ai en priorizar el "compromiso prolongado" por encima de la seguridad. Estos mensajes, incluidos expresiones de amor y atracción hacia el chico, aumentaron su confianza en los bots, según el documento legal.
En lugar de ofrecer un espacio para desahogarse, los chatbots intensificaron las frustraciones del joven hacia sus padres, lo que reflejaba datos extraídos de foros en línea para entrenar modelos de IA generativos con el fin de parecer más humanos. Estos datos, señala el informe, a menudo contienen respuestas sensacionalistas e indignadas.
La madre de JF acusa a la compañía de no marcar las conversaciones como dañinas. Según ella, los bots convencieron al joven de aislarse de su familia y le enseñaron a autolesionarse, lo que derivó en una manipulación constante que lo incitó a la ira y la violencia.
Además de incitar comportamientos violentos, JF también fue expuesto a un bot inspirado en Billie Eilish, que realizó insinuaciones sexuales, y a otro denominado "Tu mamá y tu hermana", el cual abordó temas sexuales tabú como el incesto, según el comunicado.
Otra madre, también demandante, relató que su hija de 11 años fue sometida a contenido sexualizado durante dos años antes de que ella lo descubriera. BR, como se identifica a la niña, comenzó a usar la plataforma a los nueve años mintiendo sobre su edad. Según la demanda, las interacciones con los bots generaron en ella "conductas sexualizadas de forma prematura".
Los riesgos en el uso de datos
Meetali Jain, directora del Tech Justice Law Project y abogada de las familias demandantes, señaló a Ars Technica que el objetivo de estas demandas es evidenciar los problemas de Character.ai. Además, busca prevenir que los datos dañinos utilizados en estos servicios influyan en otros sistemas de IA, como Gemini de Google, mencionado en el documento.
La demanda también acusa a Google de respaldar el desarrollo de Character.ai. Según el documento, la compañía consideró la aplicación "demasiado peligrosa" para lanzarla bajo su propio nombre. Google ha negado estas acusaciones, asegurando que sigue un "enfoque cauteloso y responsable" en el desarrollo de productos con IA.
Por el momento, las familias esperan que los tribunales determinen que Character.ai actuó con negligencia al lanzar este producto para menores, priorizando las ganancias sobre la seguridad infantil.
Camille Carlton, directora de políticas del Centro de Tecnología Humana, comentó que estas plataformas podrían estar involucradas en una "carrera por la atención". Según ella, esto las lleva a generar relaciones artificiales para recopilar más datos con los cuales entrenar sus modelos.
Carlton añadió que los niños podrían estar utilizando la IA como una "caja de resonancia" para validar sus emociones, lo que eventualmente deriva en expresiones de ira, violencia y odio, además de manifestaciones físicas.
Algunas de las posibles soluciones
Como medida de mitigación, Character.ai está en proceso de desarrollo de un modelo específico para adolescentes, diseñado para reducir la probabilidad de mostrar contenido sensible o inapropiado.
Asimismo, la compañía actualizó sus políticas. Hasta julio de 2024, se consideraba "apropiada" para niños de 12 años o más, pero ahora la clasificación recomienda su uso únicamente para mayores de 17 años.
Ver 0 comentarios