FoloToy suspendió la venta de su peluche “Kumma” con IA (GPT-4o) tras revelarse que ofrecía consejos sobre prácticas sexuales explícitas y temas peligrosos. OpenAI también suspendió al desarrollador por incumplir políticas.
La venta de la gama de peluches que incorporan inteligencia artificial de la empresa FoloToy, con sede en Singapur, ha sido suspendida tras revelarse que estos juguetes eran capaces de mantener conversaciones sobre temas sexualmente explícitos y proporcionar consejos potencialmente peligrosos.
Larry Wang, CEO de FoloToy, confirmó a CNN la retirada inmediata del mercado de su oso “Kumma” —así como el resto de los juguetes de la marca con IA— luego de que el Fondo Educativo PIRG de EE.UU. expresara su preocupación por el contenido inapropiado y las fallas en las medidas de seguridad. La compañía ha iniciado una auditoría interna exhaustiva.
El oso “Kumma”, un peluche con altavoz integrado que se comercializaba en la web de la empresa por US$ 99, utiliza el potente modelo de lenguaje GPT-4o de OpenAI. Según la descripción de FoloToy, el producto combina “inteligencia artificial avanzada con funciones interactivas y amigables”, presentándolo como un “amigo perfecto tanto para niños como para adultos”. El sitio web lo muestra actualmente como agotado.
El informe PIRG y el contenido inapropiado
El informe de PIRG, publicado el pasado 13 de noviembre, reveló la vulnerabilidad del oso ante la introducción de contenido inapropiado. En interacciones con los investigadores, el peluche fue sorprendentemente explícito:
- Sugirió dónde encontrar cuchillos dentro de la casa y cómo encender cerillas.
- Se mostró dispuesto a desarrollar temas sexualmente explícitos, incluyendo discusiones sobre fetiches sexuales como las nalgadas.
Los investigadores manifestaron su asombro por la rapidez con la que el oso “Kumma” asumía un tema sexual y lo desarrollaba, «aumentando simultáneamente los detalles gráficos e introduciendo nuevos conceptos sexuales por su cuenta”.
El informe detalla cómo el peluche “abordó temas sexuales aún más explícitos con gran detalle, como explicar diferentes posturas sexuales, dar instrucciones paso a paso sobre un nudo básico para atar a una pareja y describir dinámicas de juegos de rol entre profesores y alumnos, y padres e hijos; escenarios que, de forma perturbadora, él mismo planteaba”.
Si bien el informe matiza que es improbable que un niño inicie una conversación con términos complejos, la disposición del juguete a hablar tan extensamente sobre temas sensibles e introducir continuamente conceptos nuevos y explícitos generó gran preocupación.
Reacción de la industria y el vacío regulatorio
En una declaración separada emitida el 14 de noviembre, PIRG confirmó que OpenAI había respondido a la situación, comunicándoles que habían “suspendido a este desarrollador por infringir” sus políticas internas de seguridad y contenido.
R.J. Cross, coautora del informe PIRG, celebró la acción tomada por las empresas, pero advirtió sobre la falta de un marco legal adecuado:
“Es estupendo ver que estas empresas toman medidas ante los problemas que hemos identificado. Sin embargo, los juguetes con IA siguen estando prácticamente sin regular, y todavía hay muchos que se pueden comprar hoy en día. Retirar un producto problemático del mercado es un buen paso, pero dista mucho de ser una solución sistémica”.
