La tecnología AI está preparada para transformar la seguridad nacional. En los Estados Unidos, los expertos y los formuladores de políticas ya están experimentando con modelos de idiomas grandes que pueden ayudar en la toma de decisiones estratégicas en conflictos y sistemas de armas autónomas (o, como se les llama más comúnmente, “robots asesinos”) que pueden tomar decisiones en tiempo real sobre qué apuntar y si usar la fuerza letal.
Pero estas nuevas tecnologías también plantean enormes riesgos. El Pentágono está lleno de información más confidencial del país. Poner esa información en manos de las herramientas de IA lo hace más vulnerable, tanto para los piratas informáticos extranjeros como para los actores internos maliciosos que desean filtrar información, ya que AI puede revisar y resumir grandes cantidades de información mejor que cualquier humano. Un agente de IA desalineado también puede conducir rápidamente a la toma de decisiones que intensifica innecesariamente el conflicto.
“Estas son herramientas realmente poderosas. Creo que hay muchas preguntas sobre la seguridad de los modelos en sí ”, dijo Mieke Eoyang, subsecretario adjunto de defensa de la política cibernética durante la administración Joe Biden, a la revista Politico en una amplia entrevista sobre estas preocupaciones.
En nuestra conversación, Eoyang también señaló los temores de expertos sobre la psicosis inducida por AI, la idea de que las largas conversaciones con un modelo de lenguaje grande mal calibrado podrían en espiral en una escalada de conflictos mal aconsejada. Y al mismo tiempo, existe una preocupación un tanto compensatoria que discutió: que muchas de las barandillas establecidas en LLM públicas como Chatgpt o Claude, que desalientan la violencia, de hecho están mal adecuados para un ejército que necesita estar preparado para tomar medidas letales.
Eoyang todavía ve la necesidad de pensar rápidamente en cómo desplegarlos, en el lenguaje de Silicon Valley, “ir rápido” sin “romper cosas”, como escribió en un artículo de opinión reciente. ¿Cómo puede el Pentágono innovar y minimizar el riesgo al mismo tiempo?
Esta entrevista ha sido editada por longitud y claridad.
¿Por qué específicamente las herramientas de IA actuales son mal adecuadas para uso militar?
Hay muchas barandillas integradas en los grandes modelos de idiomas utilizados por el público que son útiles para el público, pero no para el ejército. Por ejemplo, no desea que su usuario civil promedio de herramientas de IA intente planificar cómo matar a muchas personas, pero está explícitamente en la misión del Pentágono de pensar y estar preparado para ofrecer letalidad. Entonces, hay cosas así que pueden no ser consistentes entre el uso de un modelo de IA civil y el modelo de IA militar.
¿Por qué el ajuste no es tan simple como dar a un agente de IA público existente más margen de margen de margen de margen?
Muchas de las conversaciones en torno a las barandillas de IA han sido, ¿cómo nos aseguramos de que el uso de IA por parte del Pentágono no resulte en exagerado? Pero también hay preocupaciones sobre el uso de IA por parte del Pentágono que se trata de la protección del Pentágono mismo. Porque en una organización tan grande como el ejército, habrá algunas personas que participan en un comportamiento prohibido. Cuando un individuo dentro del sistema se involucra en ese comportamiento prohibido, las consecuencias pueden ser bastante graves, y ni siquiera estoy hablando de cosas que involucran armas, sino cosas que pueden implicar fugas.
Incluso antes de la adopción de AI, hemos tenido personas en el ejército con acceso a los sistemas de seguridad nacional descargar y filtrar grandes cantidades de información clasificada, ya sea a periodistas o incluso en un servidor de videojuegos para tratar de probar que alguien está equivocado en una discusión. Las personas que tienen acceso a IA podrían hacerlo a una escala mucho mayor.
¿Cómo se ve un caso de desastre para el mal uso interno de IA?
En mi último trabajo en el Pentágono, mucho de lo que nos preocupaba era cómo la tecnología podría ser mal utilizada, generalmente por los adversarios. Pero también debemos darnos cuenta de que los adversarios pueden disfrazarse de expertos, por lo que debe preocuparse de que los actores maliciosos tengan sus manos en todas esas herramientas.
Hay cualquier cantidad de cosas que le preocupan. Hay pérdida de información, hay un compromiso que podría conducir a otras consecuencias más graves.
Hay consecuencias que podrían provenir del uso de AI por parte de alguien que los lleva a un lugar de psicosis de IA, donde podrían participar en ciertos tipos de comportamientos en el mundo físico que están en desacuerdo con la realidad. Esto podría ser muy peligroso dado el acceso que las personas tienen a los sistemas de armas en el ejército.
También hay preocupaciones con los “enjambres de robots asesinos” por las que están preocupadas a las personas, lo que implica la gestión de la escalada. ¿Cómo se asegura de que no se dedique a Overkill?
En ese último punto, publicamos un artículo en la revista Politico recientemente de Michael Hirsh en el que informó que casi todos los modelos públicos de IA prefirieron la escalada agresiva hacia una guerra nuclear cuando se les presentó escenarios de la vida real. No parecían entender la desescalación. ¿Ha sido esa su experiencia en trabajar con estas herramientas?
Creo que uno de los desafíos que tienes con los modelos de IA, especialmente aquellos que están entrenados en la obra pasada de los humanos, es que la tendencia hacia la escalada ya es un sesgo cognitivo humano. Ya sucede sin IA. Entonces, lo que estás permitiendo con AI es que eso llegue más rápido. Y a menos que esté ingeniería de alguna manera para decir: “Hola, verifique sus prejuicios cognitivos”, le dará esa respuesta.
Entonces, ¿el Pentágono necesita desarrollar sus propias herramientas de IA?
Creo que deben trabajar en cómo desarrollar herramientas que sean consistentes con las formas en que opera el Pentágono, que son diferentes a las formas en que opera el mundo civil y para diferentes fines. Pero realmente depende de la misión de la que estamos hablando. Gran parte de esta conversación ha sido sobre IA en torno a modelos de idiomas grandes y soporte de decisiones. Hay una rama completamente diferente de la IA en la que los militares necesitan participar, y se trata de navegar por el mundo físico. Ese es un conjunto totalmente diferente de desafíos y tecnologías.
Cuando piensas en la idea de los sistemas no tripulados, ¿cómo navegan por el mundo? Esas son entradas que no son lo mismo que tomar grandes cantidades de texto humano. Se tratan: ¿cómo das sentido al mundo?
¿Existe una necesidad general de una mayor comprensión de la utilidad de la IA en el ejército?
Todavía no es una tecnología completamente horneada, por lo que hay actividades como la consideración de IA en el espacio de investigación y desarrollo para el Pentágono, lo que hizo la administración de Donald Trump, que tienen mucho sentido. Eso le permite realizar pruebas y trabajar a través de algunas de estas nuevas características y desarrollar estos modelos de tecnología de manera que los refine. Esto significa que cuando aterrizan en los escritorios de una gama más amplia de personal del Pentágono, han trabajado a través de algunos de estos problemas.
¿Cuál es el camino a seguir con las herramientas de IA cuando es tan difícil evitar el mal uso?
Una de las cosas que debemos hacer en el futuro es ser mucho más específico sobre las misiones particulares para las cuales estamos pensando en adoptar la IA en el Pentágono. El Pentágono es una empresa de billones de dólares, y tendrá muchas funciones comerciales que son como cualquier otro negocio en los Estados Unidos: funciones comerciales básicas como la reserva de viajes o la nómina.
Y luego, hay áreas que son más únicas militares, y esas pueden merecer un estudio más especializado, porque no existe este ecosistema civil que también participa en la prueba y el desarrollo de estas tecnologías. El Pentágono puede tener que financiar su propia investigación sobre cosas como comprender los objetos no identificados que se dirigen hacia los Estados Unidos o los robots que necesitan navegar por un campo de batalla o dar sentido a muchos hilos diferentes de informes de inteligencia.
