Armas de IA y la peligrosa ilusión del control humano
December 9th, 2024

Estados Unidos debe permitir que los sistemas autónomos operen con mayor libertad en la guerra

“Volveré”, prometió Arnold Schwarzenegger en el éxito de ciencia ficción de 1984 Terminator . No bromeaba. En una entrevista de 2023, el actor convertido en gobernador sugirió que la visión de la película de armas autónomas ahora era una realidad. O, como dijo el director de la película, James Cameron, “Les advertí en 1984 y no me hicieron caso”.

En el futuro distópico de la película , los humanos diseñan un sistema militar con inteligencia artificial que se vuelve rebelde y destruye a la humanidad. Estrictamente hablando, esto no ha sucedido. Al mismo tiempo, la guerra ha cambiado innegablemente en los 40 años desde que Terminator llegó a los cines . Las armas con inteligencia artificial se despliegan activamente en los campos de batalla desde Ucrania hasta Gaza, y probablemente desempeñarán un papel decisivo en cualquier conflicto entre Estados Unidos y China.

La advertencia de Terminator de que no se puede confiar a las máquinas las decisiones importantes, como cuándo y a quién disparar, persiste en la psique humana colectiva. Sin embargo, el verdadero peligro puede no ser el escaso control humano sobre estos sistemas, sino la ilusión de que se los puede controlar. Esta ilusión ofrece un falso consuelo a los gobiernos, ejércitos y sociedades democráticas al alimentar la ingenua esperanza de que pueden diseñar mejores sistemas con la participación de los humanos, sistemas que puedan superar a los de los adversarios autoritarios que tienen menos escrúpulos en automatizar todo.

Manténgase informado.

Análisis en profundidad entregado semanalmente.

Sin embargo, cuando se trata del control humano de los sistemas de armas basados ​​en inteligencia artificial, la opinión predominante sigue siendo que cuanto más, mejor. La política del gobierno estadounidense, por ejemplo, exige explícitamente que las armas autónomas letales se diseñen con la capacidad de una intervención humana adecuada. Los altos funcionarios destacan regularmente este hecho. A finales de 2023, después de que el Departamento de Defensa lanzara la Iniciativa Replicator, un esfuerzo para desplegar miles de sistemas autónomos en todos los servicios militares para agosto de 2025, la subsecretaria de Defensa, Kathleen Hicks, declaró: “Siempre hay un humano responsable del uso de la fuerza, punto”. Las Naciones Unidas están tratando de prohibir las armas totalmente autónomas y han propuesto normas vinculantes a nivel internacional que exigen que dichos sistemas tengan un humano en el circuito. Numerosas organizaciones no gubernamentales, entre ellas Stop Killer Robots, Future of Life Institute y Amnistía Internacional, han abrazado la causa del control humano sobre las armas autónomas.

Aunque es reconfortante imaginar que seres humanos vivos impedirán que algoritmos sin sentido maten indiscriminadamente, este consenso no se corresponde con la realidad tecnológica. Los modelos de IA que impulsan las armas autónomas contemporáneas suelen ser demasiado sofisticados para que los supervisen incluso los operadores mejor capacitados. Es más, cada uso propuesto para las armas autónomas las imagina operando a escala masiva, lo que requeriría niveles de datos, velocidad y complejidad que harían imposible una intervención humana significativa. En condiciones normales, esperar que un ser humano evalúe los méritos del análisis de un sistema de IA y sugiera cursos de acción sería un desafío. En condiciones de combate, marcadas por un estrés severo, tiempo limitado y comunicaciones interrumpidas o inexistentes entre individuos, unidades y autoridades superiores, hacerlo sería imposible. Por lo tanto, en lugar de permitirse la ilusión de que los humanos tendrán la capacidad de controlar armas autónomas en tiempos de guerra, los militares deben generar confianza en sus modelos de armas autónomas ahora, en condiciones de paz, y dejar que funcionen sin una intervención humana excesiva cuando comiencen los disparos.

ACELERACIÓN DE LA GUERRA

La competencia militar entre Estados Unidos y China hace que el desarrollo y despliegue de sistemas de armas autónomas sea casi inevitable, y la guerra en Ucrania es una prueba temprana de este cambio de paradigma. Mientras tanto, el gobierno estadounidense se ha comprometido a desplegar inteligencia artificial de manera amplia e inmediata para una variedad de propósitos de seguridad: análisis de inteligencia, bioseguridad, ciberseguridad y más.

Durante años, Beijing ha invertido fuertemente en capacidades que apuntan a neutralizar la proyección de poder de Estados Unidos en el este de Asia, lo que potencialmente le permitiría a China imponer un hecho consumado sobre Taiwán. Hasta hace poco, el ejército estadounidense ha priorizado el mantenimiento de una pequeña cantidad de grandes plataformas de armas llamadas “exquisitas”, como portaaviones y aviones de combate y bombarderos de primera línea. Sin embargo, ese enfoque ya no es sostenible. China ha construido y distribuido una gran cantidad de sistemas de armas comparativamente baratos, como misiles balísticos antibuque y submarinos diésel-eléctricos, que fácilmente podrían destruir las exquisitas plataformas del ejército estadounidense, una estrategia llamada “denegación”. Por lo tanto, para restablecer la ventaja de Estados Unidos en el este de Asia, cada rama de las fuerzas armadas se ha embarcado en esfuerzos para desplegar suficientes sistemas no tripulados para abrumar las capacidades de negación de China.

La automatización, la inteligencia artificial y los drones con distintos grados de autonomía son componentes fundamentales de casi todos los conceptos operativos más recientes de las fuerzas armadas estadounidenses: el Force Design 2030 del Cuerpo de Marines, las Distributed Maritime Operations de la Armada, las Large-Scale Combat Operations del Ejército y el Future Operating Concept de la Fuerza Aérea. Cada uno de ellos, a su vez, se basa en una iniciativa en curso lanzada en 2022 conocida como Joint All-domain Command and Control, que costó 1.400 millones de dólares solo en 2024. Según el Departamento de Defensa, el programa tiene como objetivo conectar "cada sensor, cada tirador" para "descubrir, recopilar, correlacionar, agregar, procesar y explotar datos de todos los dominios y fuentes" y así crear un "tejido de datos" unificado. En pocas palabras, todo lo que pueda recopilar datos, desde los satélites hasta los drones marinos y un soldado en el campo, debería poder compartirlos y usarlos.

Los sistemas no tripulados son un pilar indispensable de este tejido de datos. En tierra, aumentarán la letalidad y reducirán las bajas de civiles y amigos al ofrecer una mayor precisión. En el aire, las aeronaves sin piloto gozarán de mayor resistencia y maniobrabilidad, se desplegarán en mayor número, colaborarán para cubrir áreas más grandes y complicarán la lucha contra los objetivos del adversario. Y en el mar, los buques no tripulados penetrarán en áreas que antes eran inaccesibles.

Estados Unidos, China y Rusia han gastado miles de millones de dólares cada uno para transformar la guerra en consecuencia. Las presiones de la competencia en materia de seguridad apuntan en una sola dirección: una automatización cada vez más acelerada en la guerra. Y desde un punto de vista puramente táctico y operativo, cuanto más rápido se vuelve la guerra, más desventajas hay en ralentizar las cosas al requerir que los humanos intercedan durante el combate.

Errar es humano

Por supuesto, las tácticas y las operaciones no son las únicas consideraciones en la guerra. Desde una perspectiva ética, muchos observadores temen que, sin supervisión, máquinas irreflexivas puedan descontrolarse, violando principios consagrados por el tiempo, como la proporcionalidad (que dicta que el daño que impone una acción militar no exceda sus beneficios) y la discriminación (que exige que los militares distingan entre combatientes y civiles). A otros les preocupa que los sistemas autónomos puedan victimizar a poblaciones vulnerables debido a sesgos en sus datos de entrenamiento, o que actores no estatales puedan piratear o robar armas autónomas y usarlas con fines malignos.

Desde una perspectiva práctica, un énfasis miope en la eficacia táctica u operativa también puede conducir a malos resultados estratégicos, como una escalada no intencionada. Los críticos de las armas autónomas sostienen que los humanos integran un contexto más amplio en sus decisiones, lo que los hace mejores para manejar la novedad o el caos, mientras que las máquinas se ciñen a un guión. Pocas personas confían plenamente en las máquinas para tomar decisiones graves, como matar o ampliar el alcance de una campaña militar. Hasta la fecha, las suposiciones de la mayoría de las personas se basan en ejemplos memorables de errores informáticos, como accidentes de coches autónomos o “alucinaciones de chatbots”. Mucha gente supone que los humanos son menos propensos a derramar sangre innecesariamente o a intensificar los conflictos.

Estos argumentos éticos y prácticos están respaldados por la verdad fundamental de que incluso los sistemas autónomos más avanzados con IA cometerán errores. Sin embargo, la IA ha avanzado hasta el punto en que el control humano a menudo es más nominal que real. Una idea inflada de la capacidad humana para controlar la IA puede, de hecho, exacerbar los mismos riesgos que temen los críticos. La ilusión de que los humanos podrán intervenir en futuros escenarios de combate que prometen ser de alto estrés y alta velocidad, y durante los cuales las comunicaciones serán degradadas o intermitentes, inhibe a los responsables de las políticas, el personal militar y los diseñadores de sistemas de tomar las medidas necesarias para diseñar, probar y evaluar sistemas autónomos seguros ahora.

Obligar a los humanos a intervenir en las decisiones tácticas no hará que matar sea más ético en una guerra habilitada por IA. Los ejércitos modernos han empleado durante mucho tiempo sistemas con diversas formas de autonomía graduada, como el Sistema de Combate Aegis de la Armada, con distintos niveles de autoridad humana necesarios para disparar armas. Sin embargo, la decisión del operador humano de lanzar depende de un sistema informático que analiza los datos entrantes y genera un menú de opciones. En este entorno, la elección humana, con el juicio ético correspondiente, es más un sello de aprobación que una decisión informada: el operador ya confía en los sensores que recopilaron los datos y en los sistemas que los analizaron y designaron los objetivos.

Las guerras futuras basadas en inteligencia artificial serán aún más rápidas y dependerán más de los datos, ya que los sistemas de armas basados ​​en inteligencia artificial (por ejemplo, enjambres de drones) se pueden desplegar con rapidez y a gran escala. Los humanos no tendrán ni el tiempo ni la capacidad cognitiva para evaluar esos datos independientemente de la máquina. Por ejemplo, Israel empleó un sistema de generación de objetivos basado en inteligencia artificial durante la guerra en Gaza. Este sistema, que utiliza cientos de miles de detalles para clasificar los objetivos como hostiles, es demasiado sofisticado para predecir cuándo se deben tomar decisiones en minutos o segundos.

Las presiones de la competencia en materia de seguridad apuntan en una sola dirección: la automatización cada vez más acelerada de la guerra.

Además, el control humano ya no es mejor desde una perspectiva práctica. Las personas no tienen, axiomáticamente, más contexto que las máquinas. En la era de la IA, a menudo tendrán mucho menos. Pensemos en un piloto que lidera una flota de aviones autónomos, o en un comandante que coordina miles de drones en el aire, la tierra y el mar, como en el concepto de “Hellscape” del ejército estadounidense. Según este plan, si China intentara invadir Taiwán, la Marina estadounidense desplegaría miles de buques de superficie, submarinos y aviones no tripulados para convertir el estrecho de Taiwán en una galería de tiro, ganando tiempo para que la flota estadounidense se movilizara. Los humanos no pueden interpretar las enormes cantidades de datos recopilados por tal constelación de sistemas y analizarlos para tomar decisiones acertadas. Aunque los sistemas autónomos se pueden ampliar para dar cabida a un mayor número de tareas interactivas y complejas, las capacidades humanas son fijas. La presión para acelerar la interpretación y el análisis humanos conducirá a decisiones menos meditadas y más propensas a errores. Al mismo tiempo, sin acelerar el proceso de toma de decisiones, la elección de acciones será obsoleta en un entorno de rápido cambio.

En futuros conflictos caracterizados por comunicaciones interrumpidas o inexistentes entre unidades (como la mayoría de los observadores esperan que sea el caso en una guerra entre Estados Unidos y China, dada la capacidad de cada lado para atacar satélites y hackear o interferir el espectro electromagnético), los comandantes y el personal en el campo pueden quedar aislados de la supervisión y el apoyo de alto nivel. Tomemos, por ejemplo, el concepto del Cuerpo de Marines conocido como "fuerzas de reserva", que están diseñadas para ser unidades de combate pequeñas y altamente móviles. Las fuerzas de reserva operarían como pequeños grupos distribuidos de personal en islas y territorios del Pacífico, dentro del alcance de las armas chinas. Para sobrevivir, necesitarían minimizar sus firmas electromagnéticas, las emisiones de radiofrecuencia que producen las unidades mediante el uso de radares o dispositivos de comunicación, que un adversario puede explotar para localizarlas y atacarlas. Esto significa que las fuerzas de reserva a menudo tendrían que apagar sus comunicaciones para esconderse, lo que las obligaría a tomar decisiones sin aportes externos y utilizando solo datos que recopilan por sí mismas. En estas condiciones, el personal no tendría un contexto más rico simplemente porque es humano.

Los responsables políticos y los líderes militares han sugerido reducir el uso o la sofisticación de los sistemas autónomos para que se adapten a la velocidad humana, pero lo único que consiguen es que respondan más lentamente. Otros defensores de un mayor control humano ensalzan la importancia de una mejor formación de los operadores, pero esto sólo puede proporcionar beneficios marginales, ya que los sistemas de IA superan cada vez más el límite del poder cognitivo humano y la cantidad de datos generados aumenta exponencialmente.

En sus declaraciones públicas, altos funcionarios de defensa de Estados Unidos sostienen que los sistemas de inteligencia artificial militar sólo deberían hacer sugerencias, en lugar de tomar medidas directas. Aunque es fácil imaginar cómo los vehículos aéreos no tripulados, por ejemplo, podrían viajar de forma autónoma hasta sus objetivos y luego atacar sólo si los humanos se lo ordenan, esto contradice el funcionamiento real de la guerra habilitada por la inteligencia artificial. El conflicto en Ucrania ha demostrado que, a medida que han proliferado los vehículos aéreos no tripulados, también lo han hecho los sistemas para bloquear su comunicación con los operadores; esto ha obligado a los ucranianos a adoptar niveles cada vez mayores de verdadera autonomía.

Tampoco es posible, como sugieren algunos, separar fácilmente los usos ofensivos y defensivos de las armas autónomas letales y permitir la autonomía real sólo para la autodefensa. Como han observado los estrategas militares desde la época del general prusiano Carl von Clausewitz, una defensa táctica puede respaldar una ofensiva operativa, o una ofensiva táctica, una defensa operativa.

CREANDO CONFIANZA

Por todas estas razones, las recomendaciones de políticas basadas en la capacidad humana de controlar armas autónomas son, en el mejor de los casos, paliativas. Pueden hacer que todos se sientan seguros de que las armas nunca se dispararán por sí solas, pero también dificultan que las fuerzas militares ganen y dejan las cuestiones éticas y prácticas más difíciles al personal de primera línea, que tiene menos tiempo y menos recursos para tomar decisiones. En lugar de alimentar ilusiones reconfortantes, los responsables de las políticas deberían adoptar un enfoque realista para los sistemas de armas autónomas, que incluso puede resultar más ético.

Para lograrlo, los gobiernos deben asegurarse en primer lugar de que las decisiones humanas clave, como las relativas a la proporcionalidad y la discriminación, no se tomen en tiempos de guerra, cuando no habrá tiempo para pensar, sino en tiempos de paz, cuando es posible contar con la participación de expertos, el debate democrático y la supervisión de alto nivel. El objetivo no es eliminar el control y la rendición de cuentas humanos, sino garantizar que se ejerzan con los recursos adecuados y en el momento adecuado, no en tiempos de guerra, cuando podrían costar una batalla.

Los gobiernos también deben reconocer que ni siquiera el sistema de inteligencia artificial más sofisticado siempre estará en lo cierto. Reducir el impacto de los fallos detectándolos a tiempo y aprendiendo de ellos es crucial para que el sistema evolucione de modo que siga siendo práctico y ético. Dado que los seres humanos no pueden supervisar estos sistemas durante la guerra, los militares necesitan sistemas policiales auxiliares rápidos, ligeros y diversos, como los que están surgiendo para detectar infracciones de las normas de circulación por parte de vehículos autónomos o discursos de odio en los generadores de texto. Y tanto los contratistas de defensa como los militares deben crear procedimientos para aprender de los fallos, es decir, para investigar los incidentes, asignar responsabilidades y guiar la evolución del sistema.

Por último, los contratistas de defensa y los militares deben generar confianza en los sistemas autónomos ahora. Al proporcionar evidencia de que los sistemas actuales funcionan como se espera, pueden allanar el camino para que la guerra funcione a la velocidad de las máquinas más adelante. Un sistema que no sea confiable requerirá más intervención humana, lo que lo ralentizará. Los militares tienen prácticas maduras de prueba y evaluación para generar confianza en los sistemas tradicionales. Sin embargo, los sistemas autónomos habilitados por IA se construyen de manera radicalmente diferente a los sistemas anteriores y, por lo tanto, requieren nuevas formas de evidencia para generar confianza. No están programados por desarrolladores a través de reglas de decisión lógicas. En cambio, para implementar lo que requeriría millones de reglas, estos nuevos sistemas se entrenan para aprender a mapear las entradas y los resultados esperados en un conjunto de datos. Este cambio de paradigma en la construcción de sistemas requiere nuevas formas de evidencia. Los datos para entrenar un modelo de IA deben reflejar de manera demostrable las entradas del mundo real que el sistema ingerirá cuando se use en combate; deben provenir de una fuente creíble y estar actualizados. El sistema debe pasar una serie de controles de garantía de calidad para garantizar que se adhiere a los objetivos prácticos y los principios éticos. En última instancia, dada la opacidad de estos sistemas a la comprensión humana, también deben proporcionar evidencia explicativa de sus acciones.

En las próximas décadas, Estados Unidos dependerá cada vez más de sistemas de armas autónomos potenciados por IA en la guerra. La ilusión de que los humanos pueden controlar estos sistemas mientras la guerra está en curso atará las manos de las naciones democráticas frente a adversarios que no tienen esos escrúpulos. También puede conducir a decisiones menos éticas, ya que dejar estas decisiones para la guerra es casi una garantía de que se tomen bajo la mayor presión posible, cuando no es posible tomar una decisión verdadera. Los gobiernos deben integrar la participación humana en los sistemas ahora, luego vigilar y mejorar esos sistemas y generar diligentemente la confianza de los usuarios. De lo contrario, el deseo de control humano sobre la IA militar costará más vidas de las que salvará.

Subscribe to type™
Receive the latest updates directly to your inbox.
Mint this entry as an NFT to add it to your collection.
Verification
This entry has been permanently stored onchain and signed by its creator.
More from type™

Skeleton

Skeleton

Skeleton