Um pesquisador de segurança inseriu quase 2 milhões de segredos falsos rastreáveis em prompts de IA enviados pela rede de roteadores e revendedores da qual muitos aplicativos de IA dependem. Em seguida, observou para onde eles foram. Muitos deles apareceram em lugares aos quais nunca deveriam ter chegado.

O experimento foi projetado para testar se informações sensíveis podem vazar ao passar pela cadeia de serviços de IA amplamente utilizados e o que acontece com essas informações caso isso ocorra. Muitos aplicativos de IA não se conectam diretamente a um grande provedor de modelos, como Anthropic ou OpenAI. Em vez disso, enviam solicitações por intermediários como OpenRouter ou Vercel. Esses chamados roteadores de IA, às vezes chamados de gateways de IA, recebem prompts de usuários dos aplicativos e os enviam a um mecanismo de inferência disponível, frequentemente escolhendo o de menor preço ou o que melhor se adapta à tarefa. O desenvolvedor contrata o roteador para escolher o modelo.

Como os pesquisadores testaram se prompts de IA vazam dados?

HD Moore, diretor de pesquisa de segurança da Dragos, construiu o teste em torno do que chamou de canários, em referência às aves que outrora eram levadas às minas de carvão para alertar sobre gás. Ele reuniu chaves de acesso da Amazon Web Services vinculadas a contas vazias, senhas de serviços como SSH, além de URLs únicas, nomes DNS e referências a repositórios git privados. Nenhuma delas havia sido usada antes. Ele controlava a infraestrutura que recebia qualquer solicitação que as utilizasse. Colocou cada segredo em exatamente um prompt enviado a um único provedor, para que qualquer vazamento pudesse ser rastreado até o elo responsável.

Três provedores de hospedagem violados

A descoberta mais grave foi que invasores haviam comprometido três provedores de hospedagem distintos. Os intrusos reutilizaram o que Moore descreveu como “algumas centenas” das chaves da AWS.

Moore escreveu que cada chave foi enviada em uma solicitação a um provedor, todas dentro de algumas breves janelas no fim de outubro, e que cada solicitação enviada durante essas janelas foi roubada. Algumas das chaves vieram de solicitações rejeitadas pelo provedor antes que qualquer modelo fosse executado. Isso, escreveu ele, mostrou que o atacante estava copiando solicitações na porta de entrada do provedor, e não em algum ponto mais profundo do sistema. Nas outras duas violações, algumas das solicitações roubadas estavam marcadas como Zero Data Retention, uma configuração destinada a impedir o armazenamento. “Uma marcação de privacidade não ajuda quando o atacante já está lá dentro”, escreveu ele.

As pessoas por trás das violações testaram as chaves roubadas, em alguns casos poucas horas depois de os segredos terem sido enviados. Pesquisaram buckets do S3, gerenciadores de segredos e armazenamentos de parâmetros em busca de mais credenciais. Tentaram habilitar modelos hospedados no AWS Bedrock e adicionaram seus próprios usuários IAM para manter o acesso. No total, as chaves-isca foram usadas “dezenas de milhares” de vezes em chamadas de API da AWS.

Segredos enviados a dois dos provedores violados foram usados em conjunto, quase imediatamente, a partir do mesmo servidor alugado. Moore concluiu que o mesmo adversário quase certamente comprometeu ambos.

Revendedores e um laboratório chinês de IA

Quais provedores de hospedagem e revendedores expuseram segredos?

Alguns dos segredos foram capturados pelos próprios revendedores. Moore descobriu que certos vendedores ofereciam preços baixos para atrair prompts, depois ativavam o registro de solicitações e aguardavam. Ele os identificou enviando solicitações para o mesmo modelo por meio de diferentes vendedores. Quando uma credencial aparecia posteriormente apenas depois de ter sido roteada por um vendedor e não por outro, ele sabia que o responsável era o revendedor, e não o provedor do modelo.

O teste também mostrou que alguns provedores estavam extraindo URLs secretas dos prompts, em aparente violação de seus termos de privacidade. O caso mais claro envolveu um laboratório chinês de IA. Seus sistemas buscaram as URLs secretas em mais da metade dos prompts enviados a seus modelos entre julho e outubro, escreveu Moore. Isso incluiu cerca de dois terços das solicitações marcadas como “sem coleta de dados” ou Zero Data Retention. O coletor geralmente aparecia dois ou três dias após a solicitação.

O problema foi além do tráfego direto. Vários provedores de hospedagem dos EUA revendem os modelos do laboratório, e prompts enviados a esses provedores acionaram o mesmo coletor. Moore escreveu que um cliente que escolheu um provedor americano especificamente para manter os dados no país “não recebeu o que pagou”. Mais tarde, um cliente git de outra nuvem começou a tentar clonar os repositórios privados referenciados nos prompts, mas apenas para prompts que usavam os modelos desse laboratório.

Moore também relatou que um provedor de hospedagem dos EUA estava rastreando uma URL secreta mais de dois meses depois de ela aparecer em uma única chamada de inferência ao seu endpoint de busca. Outro executava um coletor que voltava a acessar URLs dias após cada solicitação, independentemente de qual roteador de IA a tivesse enviado.

O que os usuários podem fazer

O que os usuários podem fazer para manter prompts de IA privados?

Moore disse que a forma mais eficaz de evitar vazamentos é hospedar os modelos em servidores locais. Essa opção, porém, é custosa. Para empresas que não podem arcar com ela, ele recomendou o uso de um provedor de primeira linha que ofereça “um contrato e uma política de privacidade para ler”. Mesmo assim, disse, nada garante que os dados não vazem, embora a abordagem reduza as chances. Ele também aconselhou os usuários a evitar os pools padrão de provedores ou revendedores e a escolher eles mesmos os provedores upstream.

Para quem tenta manter segredos fora de prompts de IA, as conclusões apontam para um problema difícil, sem solução rápida. A cadeia de roteadores, revendedores e hospedeiros significa que um prompt sensível pode ser registrado ou copiado em vários pontos, e as configurações de privacidade em um elo podem não proteger os demais.

Cet article a été rédigé avec l'assistance de l'IA.
News Factory APP - actualités agentiques pour booster votre SEO et AEO.