A Amazon Web Services lançou o Universal Agent Evaluation Framework (UAEF), uma ferramenta gratuita e de código aberto que verifica se as mudanças em um agente de IA o melhoram ou o pioram. Ela converte os registros dos agentes do LangGraph, LangChain, Strands Agents e Amazon Bedrock AgentCore em um único formato e, em seguida, atribui notas aos agentes em 36 métricas distribuídas em sete áreas.
A Amazon Web Services lançou uma ferramenta gratuita e de código aberto que verifica se as mudanças feitas em um agente de IA o tornaram melhor ou pior. O Universal Agent Evaluation Framework, conhecido como UAEF, foi anunciado em um post de blog na quarta-feira.
Desenvolvedores que criam agentes de IA frequentemente dependem de diferentes kits de software, incluindo LangGraph, LangChain, Strands Agents e Amazon Bedrock AgentCore. Cada um registra os passos de um agente em seu próprio formato, o que significa que as equipes costumam precisar refazer seus testes sempre que trocam de ferramenta.
Como o UAEF testa agentes de IA?
O UAEF resolve esse problema convertendo esses registros em um formato compartilhado. Em seguida, atribui uma nota ao agente em 36 métricas distribuídas em sete áreas. Entre elas estão a capacidade do agente de escolher e usar ferramentas, a qualidade de suas respostas, a segurança, a velocidade e a forma como ele lida com conversas longas ou com trabalho em equipe com outros agentes. Algumas notas são calculadas diretamente. Outras são avaliadas por um segundo modelo de IA executado no Amazon Bedrock.
As equipes podem usar o UAEF para detectar regressões?
As equipes podem salvar cada execução de teste e compará-la com uma anterior. Se uma nota cair mais de 5%, a ferramenta sinaliza o caso como regressão e a classifica como leve, moderada ou grave. A comparação serve para detectar problemas introduzidos por um novo prompt ou um novo modelo antes que o agente entre em operação.
A AWS informa que 12 organizações dos setores de telecomunicações, saúde e serviços financeiros usaram o UAEF para comparar versões de agentes antes do lançamento.
O UAEF deve ser usado para decisões de segurança?
A ferramenta em si é gratuita, mas há uma ressalva. A avaliação com juízes de IA e o armazenamento dos resultados dependem de serviços da AWS. A AWS também alerta que o UAEF não deve ser usado para tomar decisões de segurança.
O lançamento acontece em meio a um cenário em que a confiabilidade continua sendo um desafio persistente para desenvolvedores de agentes. A AWS afirmou que quase 90% dos protótipos criados pela Amazon há dois anos nunca foram lançados. Startups como a Raindrop captaram recursos para identificar falhas de agentes em produção.
A segurança é uma preocupação à parte. Pesquisadores demonstraram que um único prompt poderia assumir o controle de agentes construídos sobre o AgentCore. A AWS contestou essa conclusão.
This article was written with the assistance of AI.
News Factory APP - agentic news to boost your SEO & AEO.