En la guerra entre Estados Unidos e Israel contra Irán, un ataque aéreo alcanzó una escuela primaria en Irán y mató al menos a 175 personas, la mayoría de ellas niños. Según los informes iniciales del Pentágono, Estados Unidos fue el responsable. Esta no es la primera vez que las fuerzas estadounidenses atacan por error objetivos civiles y matan a personas inocentes. Pero a diferencia del asesinato injusto de civiles en guerras anteriores, ésta puede involucrar inteligencia artificial (IA), lo que hace más difícil saber qué salió mal.
En uno de los peores incidentes de la guerra contra el terrorismo, un ataque con aviones no tripulados alcanzó una procesión nupcial en Yemen en 2013, matando al menos a 12 personas. En otro ataque, los ataques durante la retirada de Afganistán en 2021 mataron a 10 civiles, la mayoría de ellos niños. Un análisis posterior concluyó que los operadores de drones creían que estaban disparando a objetivos militares.
En la guerra entre Estados Unidos e Israel contra Irán, un ataque aéreo alcanzó una escuela primaria en Irán y mató al menos a 175 personas, la mayoría de ellas niños. Según los informes iniciales del Pentágono, Estados Unidos fue el responsable. Esta no es la primera vez que las fuerzas estadounidenses atacan por error objetivos civiles y matan a personas inocentes. Pero a diferencia del asesinato injusto de civiles en guerras anteriores, ésta puede involucrar inteligencia artificial (IA), lo que hace más difícil saber qué salió mal.
En uno de los peores incidentes de la guerra contra el terrorismo, un ataque con aviones no tripulados alcanzó una procesión nupcial en Yemen en 2013, matando al menos a 12 personas. En otro ataque, los ataques durante la retirada de Afganistán en 2021 mataron a 10 civiles, la mayoría de ellos niños. Un análisis posterior concluyó que los operadores de drones creían que estaban disparando a objetivos militares.
Al igual que esos ataques, los atentados con bombas en las escuelas de Irán pueden haber sido un error. Los misiles eran precisos y no hay indicios de que se desviaran de su rumbo, pero eso no significa que Estados Unidos alcanzará objetivos que no tienen valor militar. No había ninguna ventaja estratégica, pero sí un riesgo estratégico considerable, ya que la matanza masiva de personas inocentes podría reducir el apoyo al esfuerzo bélico. Las tropas estadounidenses dieron en el blanco de sus objetivos, pero no parecían pensar que estuvieran apuntando a civiles.
Esta vez, la IA puede entrar en juego, quizás basándose en información antigua. La escuela está adyacente a una instalación naval iraní y alguna vez fue parte de ella. Los grandes modelos de lenguaje como Claude o ChatGPT pueden cometer esos errores al consumir mayores cantidades de información desactualizada y darle mayor peso que la información actual, o tal vez al no reconocer algo que un humano podría percibir, como un letrero escolar o niños jugando.
Cualquiera que sea la respuesta, no lo sabremos. Los sistemas de IA son en gran medida cajas negras. Incluso las personas que construyen y mantienen estos modelos no saben por qué producen respuestas específicas en momentos específicos. Por el contrario, cuando los humanos determinan los objetivos, los militares pueden revisar los errores, descubrir sus causas, determinar la responsabilidad y mejorar el entrenamiento o los procedimientos.
En los ataques aéreos que salen mal, el error humano suele implicar un sesgo de confirmación. En Afganistán, Estados Unidos está en alerta máxima después de que un atentado suicida llevado a cabo por ISIS en la provincia de Khorasan en el aeropuerto internacional de Kabul mató a 182 personas, incluidos 13 miembros del personal estadounidense. Los operadores de drones notaron una actividad que consideraron sospechosa, siguieron el automóvil durante horas y luego vieron a un hombre detenerse y cargar contenedores. Pensando que era gasolina para un coche bomba (era agua), decidieron lanzarlo.
Lo sabemos porque los investigadores entrevistaron a los operadores, pero si la IA eligió objetivos civiles, no pudimos explicar por qué. Un usuario humano puede preguntar y el sistema responderá, pero la respuesta será una colección de palabras que parecen una respuesta razonable a tal pregunta, no una explicación confiable del cálculo subyacente. Los grandes modelos de lenguaje son, en última instancia, motores de predicción de palabras, esencialmente autocompletados sobrealimentados, que participan en un proceso continuo de aprendizaje automático para determinar lo que un humano diría generalmente basándose en la combinación de respuestas anteriores. Por lo tanto, a diferencia de un humano que maneja un dron, la máquina no puede responder honestamente: «Creo que esos contenedores contienen combustible para un coche bomba» o «mis superiores me están presionando para que asuma lo peor» o «Me baso en este documento de hace años».
El público no sabe si la IA eligió las escuelas iraníes, pero sí sabemos que el ejército estadounidense utiliza un sistema impulsado por IA llamado Maven en Irán para ayudar a identificar objetivos. Asimismo, el ejército israelí utiliza un sistema llamado Lavender para identificar objetivos en Gaza. Ambas guerras presentaron niveles récord de ataques de precisión en comparación con campañas aéreas anteriores.
Esa velocidad es la razón por la que utilizan la IA para ayudar a seleccionar objetivos y seguirán haciéndolo a pesar de la posibilidad de errores. Gran parte de la exageración y las críticas a la IA se centran en cómo la IA puede reemplazar trabajos que hacen algo que los humanos ya hacen bien. Por el contrario, Maven y Lavender hacen algo que va más allá de las capacidades humanas: sintetizar rápidamente múltiples flujos de información.
Predije esto en mi libro de 2018, Drones y terrorismo (y hecho por escrito por primera vez en 2013). En Afganistán y especialmente en Irak, Estados Unidos recopiló grandes cantidades de información pero no pudo utilizarla de manera eficiente. Por ejemplo, las cámaras montadas en drones permiten una mayor vigilancia visual de posibles lugares de insurgencia, pero a menudo no sucede nada. El general James E. Cartwright, entonces vicepresidente del Estado Mayor Conjunto de Estados Unidos, se quejó en 2011 de que «un analista se sienta allí y mira fijamente Death TV durante horas, tratando de encontrar un único objetivo o ver algo en movimiento. Es un desperdicio de mano de obra».
Sostengo que si el procesamiento de la información no fuera un cuello de botella, entonces los satélites, los drones, los instrumentos terrestres y la cibervigilancia podrían recopilar datos suficientes para una comprensión continuamente actualizada y en tiempo real del espacio de batalla, algo que podría acercarse a los sueños de los comandantes militares de disipar la niebla de la guerra. Hace más de una década, escribí que los avances en el aprendizaje automático a través de redes neuronales, junto con las mejoras relacionadas en el reconocimiento facial y de objetos, el análisis de vídeo y el mapeo 3D, tenían verdadero sentido en un futuro no muy lejano.
Ese futuro está aquí. Estos sistemas todavía no proporcionan una comprensión perfecta del espacio de batalla, pero permiten a los militares procesar más información, rastrear a más personas e identificar más objetivos más rápidamente que nunca. Y mejorarán con el paso del tiempo. Utilizando datos de cámaras de tráfico pirateadas, comunicaciones interceptadas, vigilancia aérea y más, AI ayudó a encontrar al Líder Supremo Ayatollah Ali Khamenei, quien fue asesinado por las fuerzas estadounidenses en la primera ola de ataques contra Irán.
Pero el sistema todavía tiene debilidades peligrosas, especialmente en términos de rendición de cuentas. Los malos datos de entrada, como información desactualizada sobre un edificio reutilizado, a menudo producen malos resultados, sin importar cuán eficientemente se procese la información incorrecta. La IA puede alucinar información y no darse cuenta de por qué está sucediendo. Y el algoritmo carece del juicio humano, del instinto de «espera, eso no parece correcto, comprobemos de nuevo». En la Guerra Fría, el juicio humano que prevaleció sobre las máquinas salvó al mundo, como en 1983 cuando el oficial soviético Stanislav Petrov declaró que los informes sobre lanzamientos nucleares estadounidenses eran falsas alarmas.
Es por eso que los expertos en ética militar y robótica han pedido desde hace mucho tiempo que se mantenga a los “humanos actualizados”. La guerra es demasiado importante para permitir que las máquinas maten con total autonomía. Subcontratar esas decisiones a las computadoras significa que los humanos son menos responsables (o al menos se sienten responsables), lo que puede alentar acciones inmorales o ilegales. Este algoritmo puede ser tácticamente útil pero estratégicamente contraproducente, porque los ataques contra civiles que reciben atención pública, como los atentados con bombas en escuelas en Irán, galvanizarán la oposición.
Pero la participación de los humanos en el circuito no hará ninguna diferencia si a los humanos no les importa. Un oficial israelí que usó lavanda en Gaza dijo Guardián: «Invertiré 20 segundos en cada objetivo en esta etapa y lo haré decenas de segundos cada día. No tengo ningún valor agregado como ser humano, aparte de una muestra de aprobación. Esto ahorra mucho tiempo». Otro dijo que la decisión de subcontratar lo salvó de la angustia moral, porque “las máquinas lo hicieron genial”.
Cuando imagino una guerra robótica impulsada por IA, creo que podría salvar vidas al ayudar a diferenciar a los civiles de los militantes, identificar armas a distancia y reducir el riesgo de emboscadas. Sigo pensando que esto tiene el potencial de tener un impacto positivo, y es posible que reduzca el número de víctimas civiles en Irán en comparación con lo que los ejércitos de Estados Unidos e Israel habrían hecho sin él (aunque obviamente no lo suficiente como para evitar actos horribles, como matar a un grupo de niños pequeños). El aumento de la eficiencia hace inevitable el uso militar de los sistemas de IA, pero hacer que el uso de los sistemas de IA sea más ético y estratégicamente útil requiere esfuerzos serios, incluida la regulación gubernamental.
Al luchar contra la insistencia de Anthropic de que Claude no se utilice para armamento autónomo o vigilancia doméstica, la administración Trump está haciendo lo contrario. Pero con salvaguardias algorítmicas y un papel humano garantizado en la decisión de disparar, la IA podría ser una herramienta que haga que los militares sean más eficientes no sólo para matar, sino también potencialmente para proteger vidas.
