Amazon Web Services publicó el Universal Agent Evaluation Framework (UAEF), una herramienta gratuita de código abierto que verifica si los cambios en un agente de IA lo mejoran o lo empeoran. Convierte los registros de agentes de LangGraph, LangChain, Strands Agents y Amazon Bedrock AgentCore en un solo formato y luego califica a los agentes en 36 métricas distribuidas en siete áreas.
Amazon Web Services lanzó una herramienta gratuita de código abierto que verifica si los cambios realizados en un agente de IA lo hicieron mejor o peor. El Universal Agent Evaluation Framework, conocido como UAEF, fue anunciado en una entrada de blog el miércoles.
Los desarrolladores que construyen agentes de IA suelen depender de diferentes kits de software, entre ellos LangGraph, LangChain, Strands Agents y Amazon Bedrock AgentCore. Cada uno registra los pasos de un agente en su propio formato, lo que significa que los equipos con frecuencia deben rehacer sus pruebas cada vez que cambian de herramienta.
¿Cómo prueba UAEF los agentes de IA?
UAEF resuelve ese problema convirtiendo esos registros en un formato compartido. Luego califica al agente en 36 métricas distribuidas en siete áreas. Estas incluyen qué tan bien el agente elige y usa herramientas, la calidad de sus respuestas, la seguridad, la velocidad y la forma en que maneja conversaciones largas o el trabajo en equipo con otros agentes. Algunas puntuaciones se calculan directamente. Otras son evaluadas por un segundo modelo de IA que se ejecuta en Amazon Bedrock.
¿Pueden los equipos usar UAEF para detectar regresiones?
Los equipos pueden guardar cada ejecución de prueba y compararla con una anterior. Si una puntuación baja más de 5%, la herramienta la marca como regresión y la clasifica como leve, moderada o grave. La comparación busca detectar problemas introducidos por un nuevo prompt o un nuevo modelo antes de que un agente entre en funcionamiento.
AWS afirma que 12 organizaciones de telecomunicaciones, salud y servicios financieros han usado UAEF para comparar versiones de agentes antes de su lanzamiento.
¿Debe usarse UAEF para decisiones de seguridad?
La herramienta en sí es gratuita, pero hay una letra pequeña. La evaluación con jueces de IA y el guardado de resultados dependen de servicios de AWS. AWS también advierte que UAEF no debe usarse para tomar decisiones de seguridad.
El lanzamiento llega mientras la confiabilidad sigue siendo un desafío persistente para los desarrolladores de agentes. AWS ha dicho que casi el 90% de los prototipos que Amazon construyó hace dos años nunca llegaron a producción. Startups como Raindrop han recaudado dinero para detectar fallas de agentes en producción.
La seguridad es una preocupación aparte. Investigadores demostraron que un solo prompt podría tomar el control de agentes construidos sobre AgentCore. AWS refutó ese hallazgo.
Este artigo foi escrito com a assistência de IA.
News Factory APP - notícias agênticas para impulsionar seu SEO e AEO.