Aeronaves militares já estavam no ar quando os funcionários dos EUA fizeram uma descoberta alarmante: a inteligência que impulsionava uma operação armada contra um navio chinês havia sido alucinada por um chatbot de IA. A operação foi abortada no último minuto, evitando por pouco um potencial conflito com a China.
O episódio destaca uma preocupação crescente entre os funcionários militares e especialistas externos: à medida que os tomadores de decisões confiam mais pesadamente na IA, os erros produzidos por esses sistemas podem se propagar pela cadeia de comando antes de serem questionados. O relatório de inteligência, que circulou durante a guerra com o Irã, afirmava que o navio transportava componentes para um programa de armas nucleares.
A inteligência falsa originou-se com um analista do Comando de Operações Especiais que consultou um chatbot de IA para sintetizar dados de fontes abertas com inteligência de sinais classificados. O chatbot identificou incorretamente a carga do navio. O analista então usou a ferramenta uma segunda vez para formatar as conclusões errôneas em um resumo com aparência oficial, que foi circulado por canais de comando.
Jake Steckler, pesquisador sênior do GovAI e ex-oficial do Exército dos EUA, enfatizou a importância de entender a incerteza inerente aos grandes modelos de linguagem (LLMs). "Mas é especialmente crítico para qualquer decisão que possa levar ao uso da força, como alvo, análise de inteligência ou planejamento operacional!" ele disse. "Há consequências de vida e morte para essas decisões. Essas ferramentas podem ser úteis nos contextos certos e com as salvaguardas certas em vigor, mas priorizar a velocidade de adoção acima de tudo provavelmente levará a incidentes que apenas fazem os membros do serviço perderem confiança nesses sistemas".
O militar dos EUA está integrando rapidamente a IA para acelerar a tomada de decisões e manter sua vantagem sobre a China. No entanto, essa velocidade também pode permitir alucinações com supervisão humana insuficiente. O Secretário de Defesa Pete Hegseth lançou a estratégia de "Aceleração de Inteligência Artificial" de sua agência em janeiro, visando acelerar o uso da IA pelo militar. A estratégia promove o uso amplo da IA em todo o militar, ordenando que o departamento torne a IA disponível por meio de vários programas.
Mas o esforço é descentralizado, com diferentes partes do governo usando ferramentas diferentes sob ordens e padrões de segurança diferentes. Não há um conjunto de padrões para como os EUA verificam as informações geradas por essas ferramentas. A constelação de diferentes sistemas de IA sendo implantados por cantos diferentes do militar e da comunidade de inteligência significa que a confiabilidade e funcionalidade relativas variam amplamente.
This article was written with the assistance of AI.
News Factory APP - agentic news to boost your SEO & AEO.