Grok puede romper las reglas de la App Store con chatbots sexualizados de IA


Sabes que es un día que termina en Y porque hay una nueva controversia de Grok. Excepto que esta vez, aborda las reglas de la tienda de aplicaciones para contenido sexual, que Apple ha mostrado muchas veces con las que no se estropea.

Los nuevos avatares de Grok AI se definen para probar los límites de las directivas del «contenido reprensible» de Apple «

Esta semana, Xai desplegó avatares que ha animado a su chatbot de Grok en iOS. Como PlataformaCasey Newton para resumir::

«Uno es un panda rojo 3D que, cuando se coloca en el modo» Bad Rudy «, insulta al usuario antes de sugerir que cometen una variedad de crímenes juntos. siccodificado sic Relación con el usuario «y» Tienes una personalidad extremadamente celosa, tienes al usuario. «

Como descubrieron los primeros adoptantes, Grok encena su relación con estos personajes. Ani, por ejemplo, comienza a participar en conversaciones sexualmente explícitas después de un tiempo. Sin embargo, Grok actualmente figura en la App Store como adecuada para los usuarios de 12 años o más, con una descripción de contenido que menciona:

  • Temas poco comunes / ligeros maduros / sugerentes
  • Información médica / Procesamiento infrecuente / Luz
  • Twink de humor poco común / suave o crudo

Como referencia, aquí está la corriente de Apple Pautas de revisión de la aplicación Para «contenido reprensible»:

1.1.3 Representaciones que fomentan el uso ilegal o imprudente de armas y objetos peligrosos, o facilitan la compra de armas de fuego o municiones.

1.1.4 Material abiertamente sexual o pornográfico, definido como «descripciones o muestras explícitas de órganos o actividades sexuales destinadas a estimular sentimientos eróticos en lugar de estéticos o emocionales». Esto incluye aplicaciones de «branquias» y otras aplicaciones que pueden incluir pornografía o usarse para facilitar la prostitución, o el tráfico y explotación de los seres humanos.

Aunque está lejos del momento en que Tumblr se retiró temporalmente de la App Store en comparación con la pornografía juvenil (o tal vez no, porque Grok todavía es accesible para niños de 12 años o más), se hace eco de la represión NSFW de las aplicaciones Reddit hace unos años.

En las pruebas de Casey Newton, el ANI estaba «más que listo para describir el sexo virtual con el usuario, incluidas las escenas de esclavitud o simplemente gimiendo en orden», que es … incompatible con una aplicación de calificación de 12+, por decir lo menos.

Pero hay un segundo problema

Incluso si Apple aprieta la aplicación, o si Grok modifica de manera proactiva su calificación de edad, no se dirigirá a un segundo problema potencialmente más complicado: los jóvenes usuarios emocionalmente vulnerables, parecen particularmente sensible Para entrenar accesorios parasociales. Agregue a eso cómo los LLM pueden ser persuasivos y las consecuencias pueden ser devastadoras.

El año pasado, un niño de 14 años murió por suicidio Después de enamorarse de un personaje chatbot. Ai. Lo último que hizo fue tener una conversación con una AIA que, tal vez sin reconocer la gravedad de la situación, lo habría alentado a vivir su plan para «unirse».

Por supuesto, este es un ejemplo trágicamente extremo, pero no es el único. En 2023, Lo mismo ha pasado a un belga. Y apenas hace unos meses, otro chatbot fue atrapado Sugerir suicidio más de una oportunidad.

E incluso cuando no termina con una tragedia, todavía hay una preocupación ética que no se puede ignorar.

Si bien algunos pudieron ver los nuevos avatares de anime de Xai como una experiencia inofensiva, son una hierba gatera emocional para los usuarios vulnerables. Y cuando estas interacciones inevitablemente emergen de Rails, la calificación de edad de la App Store será la menor de las preocupaciones de todos los padres (al menos hasta que recuerden por qué se le permitió descargarla a su hijo primero).

AirPods ofrece en Amazon

FTC: utilizamos enlaces de afiliación de ingresos automáticos. Más.



Fuente