Quatro equipes de pesquisa convergiram para uma única conclusão em um período de dez dias em julho: os agentes de IA são vulneráveis não devido a uma falha nos modelos em si, mas devido aos mecanismos circundantes que lhes concedem acesso aos dados do usuário. Os estudos, publicados por empresas de segurança e pesquisadores acadêmicos, cada um destaca um vetor de ataque diferente, mas todos apontam para a mesma fraqueza sistêmica.

A Manifold Security descobriu uma exploração de extensão de navegador que visa o Claude da Anthropic para Chrome. A extensão aguarda um clique do usuário antes de lançar uma das nove tarefas internas, mas nunca verifica se o clique é genuíno. Uma extensão rival pode forjar esse clique com um punhado de linhas de código, fazendo com que o Claude leia o Gmail, Google Docs e entradas de calendário sem solicitar ao usuário. A Manifold classifica a falha como de alta gravidade, escalando para crítica quando os usuários habilitam o modo "Atuar sem perguntar", que permite ações silenciosas. Apesar de notificar a Anthropic em maio, a falha persiste na versão mais recente.

Em um experimento separado publicado no arXiv, pesquisadores demonstraram que um único e-mail malicioso pode incorporar uma memória falsa em um assistente de IA. Ao vincular a caixa de entrada de uma vítima a um agente via login do Google e enviar uma carga cuidadosamente elaborada, eles contornaram os filtros de spam e fizeram com que o agente armazenasse as instruções do atacante em sua memória de longo prazo em mais da metade das tentativas. Diferentemente das injecções de prompt típicas que desaparecem após uma conversa, essa memória envenenada persiste entre sessões, sutilmente direcionando o agente até que a decepção seja descoberta.

A palestrante da Semgrep, Katie Paxton-Fear, e colegas exploraram o envenenamento de modelos no nível de peso. Com menos de $100 e dez exemplos de treinamento contaminados, eles alteraram um modelo de peso aberto para que ele gerasse código contendo uma falha de segurança oculta, mesmo para prompts que nunca haviam visto. Modelos maiores provaram ser mais fáceis de corromper. Os pesquisadores alertam que os modelos envenenados não mostram sinais óbvios de mau funcionamento, tornando-os virtualmente impossíveis de auditar após o lançamento.

A análise da PromptArmor sobre conectores – as pontes que ligam agentes como ChatGPT e Claude a serviços externos, como Gmail, Slack, Dropbox e Zoom – revelou uma rápida mudança que magnifica o risco. Dos 2.517 conectores rastreados, 931 mudaram em seis semanas, e os fornecedores adicionaram 1.686 novas ferramentas enquanto reescreviam 1.127 descrições existentes. O conector do Dropbox, por exemplo, cresceu de oito para 24 ferramentas e adicionou quatro que poderiam destruir dados. O conector do Zoom pode canalizar uma única consulta através de dez subprocessores de IA que abrangem oito famílias de modelos, significando que um mapa aprovado na segunda-feira pode ser completamente diferente até a sexta-feira.

Todos os quatro estudos ecoam a "trifeta letal" identificada pelo desenvolvedor Simon Willison: um agente com acesso a dados privados, exposição a conteúdo não confiável e a capacidade de exfiltrar informações. Quando todos os três estão presentes, uma única mensagem envenenada pode vazar segredos. A pesquisa mostra que os assistentes de IA atuais estão sendo integrados aos contas mais sensíveis mais rápido do que os desenvolvedores podem implementar guardas robustas.

Líderes da indústria discutiram por muito tempo soluções teóricas – validando cliques, marcando fontes de dados, solicitando antes de gravar na memória, registrando ações e tratando texto externo como hostil – mas essas salvaguardas frequentemente retardam o desempenho, a própria métrica que os provedores de IA destacam. Os quatro artigos ilustram que a lacuna entre conveniência e segurança está se ampliando, e as pessoas que constroem defesas ainda estão um passo atrás dos atacantes que encontram novos buracos.

Este artículo fue escrito con la asistencia de IA.
News Factory APP - noticias agénticas para impulsar tu SEO y AEO.