La Asociación Nacional de Fiscales Generales envió una carta a 13 empresas de tecnología, incluida Apple, pidiendo medidas y salvaguardias más estrictas contra el daño que la IA puede causar y ha causado, «particularmente a las poblaciones vulnerables”. Aquí están los detalles.
Los AG quieren que se aborden los resultados flagrantes y delirantes
En un documento de 12 páginas (que, para ser justos, tiene cuatro páginas completas de firmas) dirigido a Apple, Anthropic, Chai AI, Character Technologies (Character.AI), Google, Luka Inc. (Replika), Meta, Microsoft, Nomi AI, OpenAI, Perplexity AI, Replika y xAI, los fiscales generales de 42 estados de EE. UU. demostraron lo que definieron como:
Serias preocupaciones sobre el aumento de resultados atroces y delirantes para los usuarios que emanan del software de inteligencia artificial generativa promovido y distribuido por sus empresas, así como informes cada vez más inquietantes sobre interacciones de la IA con niños que indican la necesidad de salvaguardias operativas y de seguridad infantil mucho más estrictas.
En conjunto, dicen, estas amenazas exigen acción porque algunas de ellas han sido vinculadas a violencia y daños reales. Esto incluye asesinatos y suicidios, violencia doméstica y envenenamientos, y hospitalizaciones por psicosis.
En la carta, llegan incluso a afirmar que es posible que algunas de las empresas afectadas ya hayan violado las leyes estatales, incluidas las leyes de protección al consumidor, los requisitos para advertir a los usuarios sobre los riesgos, las leyes de privacidad infantil en línea y, en algunos casos, incluso las leyes penales.
Los casos preocupantes parecen estar empeorando
En los últimos años, muchos de estos casos han sido ampliamente reportados, incluido el de Alan Brooksun canadiense de 47 años que, después de repetidas interacciones con ChatGPT, se convenció de que había descubierto un nuevo tipo de matemáticas, y el de 14 años. Sewell Setzer IIIcuya muerte por suicidio es objeto de una demanda en curso que alega que un chatbot Character.AI lo animó a «unirse a ella”.
Si bien estos son sólo dos ejemplos, la carta cita muchos más, lo que también aclara que su lista de ninguna manera es lo suficientemente completa como para ilustrar el daño potencial que los modelos generativos de IA pueden causar a «niños, ancianos y personas con enfermedades mentales, así como a personas sin vulnerabilidades previas”.
También mencionan lo que llaman interacciones «preocupantes» entre los chatbots de IA y los niños, incluidos los robots con personajes adultos que tienen relaciones románticas con menores, fomentan el uso de drogas y la violencia, atacan la autoestima de los niños, les aconsejan que dejen de tomar medicamentos recetados y les piden que mantengan estas interacciones en secreto para sus padres.
En la carta, instan a las empresas a tomar una serie de medidas de seguridad adicionales, que incluyen:
- Desarrollar y hacer cumplir políticas para prevenir producciones aduladoras y delirantes.
- Realice pruebas de seguridad rigurosas antes de lanzar modelos de IA.
- Se agregaron advertencias claras y persistentes sobre salidas potencialmente peligrosas.
- Separe la optimización de ingresos de las decisiones de seguridad.
- Designar ejecutivos responsables de los resultados de seguridad de la IA.
- Permitir auditorías independientes y evaluaciones de impacto en la seguridad infantil.
- Publicación de registros de incidentes y tiempos de respuesta para salidas dañinas.
- Notificar a los usuarios que han estado expuestos a contenido peligroso o engañoso.
- Asegúrese de que los chatbots no puedan generar contenido que sea ilegal o perjudicial para los niños.
- Implementar salvaguardias apropiadas para la edad para limitar la exposición de los menores a contenido violento o sexual.
También piden a las empresas que confirmen su compromiso de implementar estas y otras salvaguardas antes del 16 de enero de 2026 y que programen reuniones con sus oficinas para discutir estos temas con más detalle. Investigaremos si Apple responderá y cómo.
La carta fue firmada por los fiscales generales de Alabama, Alaska, Samoa Americana, Arkansas, Colorado, Connecticut, Delaware, Distrito de Columbia, Florida, Hawaii, Idaho, Illinois, Iowa, Kentucky, Luisiana, Maryland, Massachusetts, Michigan, Minnesota, Mississippi, Missouri, Montana, New Hampshire, Nueva Jersey, Nuevo México, Nueva York, Dakota Northern, Ohio, Oklahoma, Oregon, Pensilvania, Puerto Rico, Rhode Island, Carolina del Sur, Utah, Vermont, Islas Vírgenes Estadounidenses, Virginia, Washington, Virginia Occidental y Wyoming, y puedes leerla en su totalidad aquí.
