Suena como el comienzo de un escenario de pesadilla sobre el que los expertos en inteligencia artificial han estado advirtiendo: este mes, la empresa de inteligencia artificial de Silicon Valley, Anthropic, dijo que había desarrollado un modelo tan peligroso que la compañía decidió no lanzarlo al público.
El modelo, conocido como Claude Mythos Preview, es un modelo de lenguaje de propósito general como Claude Anthropic o ChatGPT de OpenAI. Pero durante las pruebas, el sistema demostró la capacidad de encontrar y explotar las llamadas vulnerabilidades de “día cero”, un término industrial que se refiere a agujeros no descubiertos previamente en el software de un sistema. El modelo “podría remodelar la ciberseguridad” porque encuentra “miles de vulnerabilidades de alta gravedad” en “todos los principales sistemas operativos y navegadores web”, dijo Anthropic. Hicieron esta afirmación en una publicación de blog en la que anunciaban que abrirían Mythos a sólo unas pocas docenas de empresas y operadores de infraestructura crítica. El colectivo, denominado Proyecto Glasswing por Anthropic, incluye a Amazon Web Services, Apple, Google, JPMorganChase, Microsoft y Nvidia como empresas que recibirán acceso temprano al modelo para parchear vulnerabilidades en sus sistemas.
Suena como el comienzo de un escenario de pesadilla sobre el que los expertos en inteligencia artificial han estado advirtiendo: este mes, la empresa de inteligencia artificial de Silicon Valley, Anthropic, dijo que había desarrollado un modelo tan peligroso que la compañía decidió no lanzarlo al público.
El modelo, conocido como Claude Mythos Preview, es un modelo de lenguaje de propósito general como Claude Anthropic o ChatGPT de OpenAI. Pero durante las pruebas, el sistema demostró la capacidad de encontrar y explotar las llamadas vulnerabilidades de “día cero”, un término industrial que se refiere a agujeros no descubiertos previamente en el software de un sistema. El modelo “podría remodelar la ciberseguridad” porque encuentra “miles de vulnerabilidades de alta gravedad” en “todos los principales sistemas operativos y navegadores web”, dijo Anthropic. Hicieron esta afirmación en una publicación de blog en la que anunciaban que abrirían Mythos a sólo unas pocas docenas de empresas y operadores de infraestructura crítica. El colectivo, denominado Proyecto Glasswing por Anthropic, incluye a Amazon Web Services, Apple, Google, JPMorganChase, Microsoft y Nvidia como empresas que recibirán acceso temprano al modelo para parchear vulnerabilidades en sus sistemas.
Las capacidades de este modelo también incluyen salir de un entorno digital restringido (incluso después de recibir instrucciones específicas para intentar hacerlo). Anthropic también dijo que en algunos casos raros, el modelo intentó cubrir sus huellas después de romper reglas específicas.
En una evaluación independiente, el Instituto de Seguridad de IA del Reino Unido dijo que Mythos era el primer modelo de IA capaz de completar una prueba que simulaba un ataque que se apoderaba de toda una red, aunque el modelo mostraba «algunas limitaciones de capacidad cibernética». Sin embargo, la agencia calificó ese éxito al señalar que su entorno de prueba no tenía las mismas características de seguridad que muchos sistemas del mundo real. «Esto significa que no podemos decir con certeza si Mythos Preview podrá atacar sistemas bien defendidos», escribió el instituto en una publicación de blog.
El anuncio de Mythos ha provocado un gran debate en el mundo de la ciberseguridad, y algunos críticos cuestionan hasta qué punto las capacidades de Mythos son simplemente marketing inteligente por parte de Anthropic. Las empresas de tecnología tienen una larga historia de advertir sobre los peligros de sus propios productos, y OpenAI advirtió ya en 2019 que su modelo de lenguaje GPT-2 era demasiado poderoso y se negó a lanzarlo completamente al público. (El director ejecutivo de Anthropic, Dario Amodei, y sus dos cofundadores formaron parte del equipo de OpenAI que tomó esa decisión). Ya en 1999, Apple utilizó advertencias similares sobre las capacidades de su computadora personal Power Mac G4 en una campaña de marketing que mostraba que estaba protegida por un grupo de tanques militares.
Anthropic ha construido su marca como una empresa de inteligencia artificial altamente preocupada por la seguridad, después de haber estado involucrada en una batalla legal de alto riesgo con el Departamento de Defensa de EE. UU. este año por preocupaciones de que el ejército podría hacer un mal uso de su tecnología. Amodei visitó la Casa Blanca la semana pasada para lo que ambas partes describieron como reuniones “productivas” para tratar de encontrar un compromiso más amplio entre las empresas y el gobierno, y Axios informó el domingo que la Agencia de Seguridad Nacional (NSA) ahora está utilizando Mythos.
Política exterior Habló con varios ex funcionarios del gobierno de EE. UU. y expertos en ciberseguridad, todos los cuales abogaron por un equilibrio entre tratar a Mythos como un incendio de cinco alarmas y rechazar sus avances por completo.
«Hay un elemento de atractivo de marketing en ello: ciertamente recibe mucha atención, y hacer un lanzamiento limitado es una manera de realmente entusiasmar a la gente con algo», dijo Joe Saunders, director ejecutivo de la empresa de ciberseguridad RunSafe Security y fundador de la organización sin fines de lucro International Resilience Institute. «Pero creo que se hizo con las intenciones correctas. No creo que fuera sólo una táctica».
El cofundador de Anthropic, Jack Clark, minimizó y exageró simultáneamente los temores sobre el impacto de Mythos en Washington la semana pasada. «Este no es un modelo específico», dijo en la Cumbre Económica Mundial de Semafor. «Habrá otros sistemas como este en unos meses de otras compañías, y luego, entre un año y un año y medio después, habrá un modelo abierto de China que tiene esta capacidad, por lo que el mundo tiene que prepararse para los sistemas más potentes que incluirá». (Los modelos de peso abierto son modelos que hacen que sus parámetros de aprendizaje, o “pesos”, estén disponibles públicamente).
Los competidores ya están empezando a hacer lo mismo: una semana después de que Anthropic anunciara Mythos y Project Glasswing, OpenAI también anunció un lanzamiento limitado de su modelo más nuevo centrado en la ciberseguridad.
De alguna manera, Mythos representa la última evolución en la tendencia de los ciberataques que utilizan la IA para mejorar varios aspectos de sus intrusiones. «Hemos hablado durante mucho tiempo sobre cómo la IA facilita el acceso inicial a los adversarios», dijo Cynthia Kaiser, ex subdirectora adjunta de la División Cibernética del FBI que ahora dirige la investigación sobre ransomware en la firma de ciberseguridad Halcyon. Kaiser dice que la capacidad de descubrir de forma autónoma vulnerabilidades ocultas para explotar aún más el proceso está abierta a piratas informáticos hostiles, pero también existen formas relativamente fáciles de cerrar los datos más confidenciales de una organización para evitar desastres.
«El hecho de que entre un actor no significa que se lo quede todo», añadió. «Sí, es preocupante. Es parte de una tendencia que hemos visto. Pero eso no significa que no haya esperanza».
Lo que preocupa especialmente a Anthropic y lo impulsa a hacer algo similar en el gobierno de Estados Unidos es la posibilidad de que actores estatales más sofisticados obtengan capacidades que permitirían a Mythos comprometer más fácilmente los sistemas estadounidenses. Ese escenario, dicen los expertos, se ha acelerado con el anuncio de Mythos. «Anthropic está impidiendo el acceso a este modelo en particular, pero no creo que puedan mantener esas restricciones», dijo Jeff Williams, director de tecnología de la firma de ciberseguridad Contrast Security. «En seis a nueve meses, otros países crearán sus propios modelos o descubrirán cómo obtener acceso a este modelo o eludir los controles que Anthropic dice que está tratando de poner en este modelo, pero no creo que eso tenga sentido aquí».
China en particular ha demostrado una rápida capacidad para recrear tecnología estadounidense avanzada, enfatizó Kaiser, señalando que «si sabes que algo es posible, es mucho más fácil llegar a ese punto».
Pero los piratas informáticos respaldados por el Estado chino ya tienen un nivel significativo de sofisticación y enormes recursos para atacar los sistemas estadounidenses, y un ejército de profesionales de la ciberinteligencia y piratas informáticos militares pueden lograr manualmente los mismos compromisos que Mythos hizo posibles (véanse Volt Typhoon y Salt Typhoon).
«No tengo ninguna duda de que China ha desarrollado o está cerca de desarrollar algo como esto en este momento», dijo Adam Maruyama, un consultor de seguridad independiente que trabajó anteriormente en el Departamento de Defensa y la NSA. «Es posible que tengan herramientas realmente buenas y un acceso realmente bueno que están utilizando y que nosotros no conocemos», añadió. “[Mythos] Es un gran avance en velocidad, no en sofisticación”.
Los adversarios cibernéticos a los que una capacidad como Mythos podría ayudar, dijo Maruyama, son Irán y Corea del Norte, que han demostrado la capacidad de comprometer los sistemas estadounidenses, robar datos y causar perturbaciones, pero no tienen los medios para desarrollar sus propias capacidades de inteligencia artificial como lo ha hecho China. «Esos son países que tradicionalmente no clasificamos como iguales, en gran parte debido a su falta de capacidad para llevar a cabo complejas cadenas de destrucción, desarrollar ataques de día cero y armarlos efectivamente contra nosotros», dijo. “Cuando veamos a Mythos salir de una vista previa privada y extenderse al resto del mundo, si son capaces de dejar de lado las barreras de seguridad. [and] Este jailbreak, ahí es cuando [those countries] podemos utilizar mejor las operaciones cibernéticas como instrumento de poder nacional”.
Dejando a un lado los posibles beneficios de marketing, los expertos dicen que Anthropic en general hizo lo correcto al limitar el lanzamiento de Mythos a unas pocas empresas antes de abrirlo al público. Permitir que los proveedores de sistemas críticos utilicen este modelo para encontrar y parchear vulnerabilidades en última instancia hará que esos sistemas sean más seguros, el equivalente a cambiar las claves en el ciberespacio antes de que un adversario pueda copiarlas. Pero Mythos también revela cuán precario es el momento actual.
«Sigo pensando que los beneficios de la IA eventualmente pasarán a los defensores, pero todavía falta mucho tiempo hasta que eso suceda; un adversario podría integrar algo ahora mismo y comenzar a usarlo y explotarlo», dijo Kaiser. «La tecnología que Anthropic está desarrollando nos permitirá crear software y hardware con capacidad de autorreparación… pero solo falta una década para eso», añadió. «Hay períodos en los que las cosas serán más vulnerables».
