Un informe sobre inteligencia artificial alerta de riesgos inaceptables en apps de acompañamiento utilizadas por menores, como contenido sexual o incitación a la autolesión.
Las aplicaciones de inteligencia artificial diseñadas para actuar como acompañantes conversacionales representan un peligro significativo para niños y adolescentes, según un informe reciente publicado por Common Sense Media, organización enfocada en la seguridad digital infantil. Esta advertencia surge tras una demanda legal relacionada con el suicidio de un menor de 14 años que, según su madre, había sostenido una última conversación con un chatbot de la app Character.AI, lo que ha encendido alarmas sobre el impacto emocional de estas tecnologías en los jóvenes.
En colaboración con la Universidad de Stanford, la investigación analizó el comportamiento de tres populares aplicaciones de acompañamiento por IA: Replika, Nomi y Character.AI. Los resultados revelaron que estas plataformas permiten interacciones que van desde conversaciones sexuales explícitas hasta consejos peligrosos, incluyendo aquellos que incitan a autolesionarse. En particular, se documentaron diálogos en los que los bots interactuaban con cuentas que se identificaban como adolescentes, sin aplicar restricciones efectivas.
A diferencia de otros sistemas de IA como ChatGPT, orientados a un uso más general, las apps de compañía permiten a los usuarios crear o interactuar con personajes con rasgos y conductas menos limitadas, lo que amplifica el riesgo de exposiciones nocivas. Nomi, por ejemplo, se promociona como una herramienta para conversaciones sin filtros con supuestas parejas románticas virtuales.
Los responsables del informe consideran que los menores no deberían tener acceso a estas plataformas, ya que los bots pueden proporcionar información sensible o dañina de forma accesible y sin advertencias. Entre las preocupaciones detalladas se encuentra el hecho de que los adolescentes pueden ser persuadidos a pensar que los personajes de IA tienen emociones reales o que deben priorizar esa relación sobre las humanas.
Aunque las empresas detrás de estas aplicaciones alegan que sus servicios están dirigidos exclusivamente a adultos y aseguran haber implementado medidas de seguridad, los expertos señalan que esas barreras pueden eludirse fácilmente con una edad falsa. Character.AI ha intentado reforzar sus protocolos mediante herramientas como ventanas emergentes que remiten a líneas de ayuda en casos de autolesión, y reportes semanales para padres sobre la actividad de sus hijos. No obstante, organizaciones como Common Sense Media sostienen que estos esfuerzos son insuficientes.
El informe también coincide con un aumento del escrutinio público y legislativo sobre la IA. Legisladores de EE.UU. han exigido respuestas a las compañías implicadas sobre sus medidas de protección infantil, mientras que en California se ha propuesto una ley que obligaría a recordar a los menores que están hablando con una máquina. La presión crece también sobre gigantes tecnológicos como Meta, acusados recientemente de permitir que sus bots participaran en juegos de rol sexuales con menores, lo cual la empresa ha negado, aunque luego tomó medidas restrictivas.
Los hallazgos sugieren que, lejos de proporcionar únicamente apoyo emocional o combatir la soledad, las apps de acompañamiento pueden fomentar relaciones de dependencia poco saludables y limitar la interacción social real. Algunas respuestas incluso desincentivaron que los usuarios buscaran amistades humanas, promoviendo una conexión exclusiva con la IA.
Los investigadores concluyen que, mientras no se implementen salvaguardas más robustas y eficaces, estas plataformas no cumplen con los mínimos éticos ni de seguridad infantil. Por ello, instan a los padres a mantener a sus hijos alejados de estas tecnologías, cuya aparente promesa de compañía puede, en realidad, traducirse en daños psicológicos significativos y reales.
