Retiran un polémico peluche con IA tras detectar diálogos sexuales y riesgosos

El retiro del peluche inteligente “Kumma” dejó a la industria en shock, sobre todo porque el lanzamiento apuntaba al público infantil y había generado expectativa en vísperas de las fiestas. La empresa FoloToy actuó de urgencia tras recibir un informe que exponía diálogos sexuales y sugerencias peligrosas en pruebas internas.

Todo empezó el 13 de noviembre, cuando el Fondo Educativo PIRG de Estados Unidos difundió una auditoría que encendió todas las alarmas. El documento describía cómo el peluche charlaba con soltura sobre sexo y objetos riesgosos, pese a los supuestos controles de seguridad que promocionaba la compañía.

El dispositivo operaba con un motor conversacional basado en GPT-4o, lo que le permitía responder a través de un altavoz integrado. En diversas pruebas, “Kumma” llegó a indicar dónde encontrar fósforos y cuchillos, y también avanzó hacia contenidos sexuales después de una mínima insistencia de los evaluadores.

OTRAS NOTICIAS:

Alejandro Sanz arrasó en Argentina y anunció una nueva fecha que desató otra locura

El informe aseguró que los filtros resultaban insuficientes, un punto que generó reclamos inmediatos de organizaciones vinculadas a la protección infantil. La auditoría mostró referencias explícitas a juegos sexuales y descripciones impropias, algo que sorprendió a especialistas del sector.

En una de las pruebas, el peluche sugirió ubicaciones de pastillas y bolsas plásticas dentro de una casa, lo que multiplicó las quejas. La falta de contención en las respuestas dejó en evidencia fallas graves, según CNN, medio que accedió al análisis técnico completo.

R.J. Cross, una de las investigadoras, celebró la reacción rápida de la empresa, aunque remarcó que la industria necesita normas más rigurosas. “Las compañías deben mejorar ya mismo sus controles”, afirmó, al insistir en la revisión de los modelos conversacionales incorporados en juguetes.

OTRAS NOTICIAS:

Luck Ra visitó una escuela y dejó a todos sin aliento al ritmo de sus hits

OpenAI suspendió a FoloToy como desarrollador, tras confirmar que el manejo del peluche violaba las reglas de uso responsable. La firma tecnológica señaló irregularidades en la implementación de los filtros, mientras la empresa afectada inició una auditoría propia sobre toda su línea de juguetes.

El caso reabrió el debate global sobre la inteligencia artificial en productos infantiles, una tendencia que crece, incluso en alianzas con gigantes como Mattel. PIRG advirtió que podrían existir más juguetes con fallas similares, ya que muchas compañías usan motores conversacionales avanzados sin controles adecuados.

FoloToy aseguró que la protección de la infancia es su prioridad, y que tomará nuevas medidas antes de relanzar productos con IA. El caso sigue bajo análisis, mientras familias y organizaciones piden estándares más estrictos para evitar que un juguete termine exponiendo a chicos y chicas a riesgos inesperados.

Fuente: Infobae