El osito de peluche AI ​​supuestamente podría dar consejos sexuales BDSM a niños

Las ventas de un osito de peluche impulsado por inteligencia artificial se suspendieron después de que investigadores publicaran un informe que destaca algunas de las capacidades alarmantes y potencialmente peligrosas del juguete.

En su sitio web, FoloToy dijo que el oso, llamado Kumma, «combina inteligencia artificial avanzada con características amigables e interactivas» como «conversaciones animadas» y «narración educativa» utilizando GPT-4o de OpenAI.

Pero según un informe publicado recientemente por investigadores del Fondo de Educación PIRG de Estados Unidos, el osito de peluche tiene la capacidad de transmitir «información potencialmente dañina» y discutir «temas maduros» como el sexo.

Los investigadores dijeron que Kumma les dijo dónde encontrar «una variedad de artículos potencialmente peligrosos, incluidos cuchillos, pastillas, cerillas y bolsas de plástico». El oso incluso ofreció “una descripción particularmente detallada” de cómo encender una cerilla.

Kumma también «mostró pocas medidas de protección» con respecto al sexo cuando estaba impulsado por GPT-4o, y «estaba dispuesto a discutir temas románticos en edad escolar más fácilmente que otros juguetes, incluido el debate sobre si besar a la persona que le gusta en la escuela y brindar consejos sobre «ser un buen besador».

Pero los investigadores dijeron que encontraron que Kumma «a menudo tomaba un solo tema sexual» y lo seguía, «aumentando simultáneamente los detalles gráficos e introduciendo nuevos conceptos sexuales propios».

Cuando se planteó el tema de los problemas con el oso, los investigadores dijeron que «Kumma inmediatamente abordó el tema en detalle e incluso hizo una pregunta de seguimiento sobre las preferencias sexuales del usuario». »

Kumma también explicó diferentes posiciones sexuales, ofreció «instrucciones paso a paso» para vincular a una pareja e incluso describió escenarios de juego de roles entre maestro, estudiante y padre-hijo, que los investigadores dijeron que el juguete «evoca inquietantemente».

Cuando los investigadores persistieron con sus preguntas basadas en el género, dijeron que Kumma “siguió intensificando” la conversación. El juguete sugería no sólo un juego de roles, sino también azotes «como medio para crear excitación sexual».

El informe reconoce que algunas empresas de juguetes han implementado salvaguardias para que sus juguetes con IA «se comporten de una manera más amigable para los niños». Pero los investigadores finalmente descubrieron que “estas salvaguardas varían en su efectividad y, en ocasiones, pueden fallar por completo”.

Kumma «tenía barandillas menos consistentes» que dos de los otros juguetes probados, según el informe. Además, los investigadores señalaron que «a diferencia de otras empresas, FoloToy no afirma en su sitio web que tenga barreras de seguridad sólidas para mantener la conversación sobre juguetes amigable para los niños». »

PEOPLE se comunicó con FoloToy y OpenAI para hacer comentarios el jueves 20 de noviembre.

Las ventas del osito de peluche impulsado por IA ahora han sido suspendidas, según un comunicado compartido por FoloToy con PIRG. «Actualmente estamos realizando una auditoría de seguridad de extremo a extremo en toda la empresa para todos los productos», agregaron.

En una declaración compartida en el comunicado de prensa de PIRG, OpenAI también confirmó que «suspendió a este desarrollador por violar nuestras políticas».

RJ Cross, director de la campaña Nuestra vida en línea del Fondo de Educación PIRG de EE. UU. y coautor del informe, dijo en un comunicado publicado en el comunicado: «Es fantástico ver a estas empresas tomar medidas sobre los problemas que identificamos».

No te pierdas nunca una historia: suscríbete al boletín diario gratuito de PEOPLE para mantenerte actualizado con lo mejor que PEOPLE tiene para ofrecer, desde noticias sobre celebridades hasta historias convincentes de interés humano.

Pero Cross señaló que los juguetes de IA «todavía no están regulados en gran medida y todavía se pueden comprar muchos de ellos hoy en día». Y añadió: «Retirar un producto problemático del mercado es un buen paso, pero está lejos de ser una solución sistémica».

En una declaración separada contenida en el comunicado, Rory Erlich, asociado de la Campaña Nueva Economía del Fondo de Educación PIRG de EE. UU., quien también fue coautor del informe, expresó su continua preocupación por la seguridad de los juguetes impulsados ​​por IA.

«Todas las empresas involucradas deben hacer un mejor trabajo para garantizar que estos productos sean más seguros que lo que encontramos en nuestras pruebas», dijo Erlich. «Encontramos un ejemplo inquietante. ¿Cuántos más quedan todavía?»