Uma pesquisa da IBM com 2.000 executivos de alto escalão encontrou que apenas 11% se sentem totalmente preparados para a implantação de agentes de IA, destacando uma lacuna de controle crescente à medida que o uso de IA se expande pelas empresas. A pesquisa, realizada em 2026, revelou que dois terços dos CIOs e CTOs disseram ser responsáveis por sistemas de IA que não estavam totalmente sob seu controle, enquanto 70% disseram que as equipes estavam implantando tecnologia mais rápido do que a TI poderia acompanhar.
Madhuri Chandoor, fundadora da PromptHalo, uma empresa de segurança e infraestrutura de confiança de IA, enfatiza a importância de distinguir capacidade de autoridade na implantação de agentes de IA. Ela argumenta que as organizações precisam considerar o contexto e o impacto downstream de uma ação antes de um agente de IA prosseguir. Chandoor recomenda perfis comportamentais para agentes de IA, semelhantes ao monitoramento de fraude financeira, para identificar possíveis riscos e garantir que os agentes operem dentro de limites pré-determinados.
Chandoor ilustra a preocupação com um exemplo hipotético de um agente de IA que gerencia infraestrutura e que, de forma autônoma, adiciona ou remove um índice ou altera estruturas de tabela em um ambiente de produção, potencialmente afetando transações ao vivo, dados de clientes ou processos dependentes. Ela também usa um cenário de reembolso para demonstrar como um agente de IA pode emitir reembolsos até $50 sem revisão humana, mas um usuário pode solicitar dez reembolsos de $50 em vez de um reembolso de $500 que exija revisão, destacando a necessidade de um contexto de sessão mais amplo e revisão de comportamento.
A abordagem de Chandoor envolve documentar os recursos que um agente de IA pode acessar, as condições que se aplicam a esse acesso e os possíveis efeitos downstream de ações específicas. Ela também recomenda portas de observabilidade para revisar a atividade, particularmente para inspecionar e abordar quando os pedidos se tornam repetidos, excessivamente amplos ou inconsistentes com o propósito originalmente atribuído ao agente.
Ao adotar uma abordagem mais nuanciada para a implantação de agentes de IA, as empresas podem garantir que estão usando a IA de forma responsável e verificando seu comportamento ao longo do processo. Como Chandoor enfatiza, estabelecer clara propriedade de responsabilidade em organizações para a segurança de aplicações de IA é essencial para operacionalizar essas barreiras e perseguir a inovação em IA, dando a devida atenção à segurança e responsabilidade.
Cet article a été rédigé avec l'assistance de l'IA.
News Factory APP - actualités agentiques pour booster votre SEO et AEO.