¿Qué es Harness² y qué hace?

Google Research lanzó Harness², un marco de código abierto diseñado para ayudar a los agentes de IA a manejar tareas para las que nunca fueron creados. El proyecto, publicado en un repositorio de código público, busca mejorar el sistema que envuelve a un modelo y no el modelo en sí.

Ese sistema se conoce como arnés (harness). Incluye los prompts, herramientas, memoria, habilidades y la lógica de orquestación que permiten que un modelo actúe como agente. El arnesado, en los términos del proyecto, es el proceso de optimizar ese sistema. Harness² está diseñado para hacerlo en lo que sus desarrolladores llaman un mundo abierto, donde los agentes se topan con frecuencia con tareas para las que el arnés no fue diseñado.

¿Cómo mejora Harness² a los agentes de IA sin cambiar los pesos del modelo?

El marco opera en dos niveles de recursividad. El primero, la recursividad a nivel de tarea, refina el arnés para la tarea en cuestión. Funciona mediante un paso que los desarrolladores denominan Proponer–Sondear–Componer. El sistema propone ediciones, prueba cómo esas ediciones cambian el comportamiento en la misma tarea y luego construye un arnés refinado a partir de las diferencias entre las ejecuciones. Lo hace sin retroalimentación de verdad fundamental, lo que significa que no necesita una respuesta correcta para aprender.

El segundo nivel, la recursividad a nivel de arnesado, mantiene un arnés de mejora persistente. Después de cada tarea, el sistema conserva el arnés adoptado y las lecciones que respaldan las evidencias, y luego las usa para guiar refinamientos posteriores.

El equipo reporta resultados en tres benchmarks profesionales y cuatro configuraciones modelo-arnés. Un solo paso de Harness² mejoró GLM-5 y Gemini 3.5 Flash frente a sus arneses base. Las mayores ganancias fueron de 11,5 puntos en WorkBuddy-Bench, 4,5 puntos en JobBench y 11,8 puntos porcentuales en la tasa de aprobación parcial de LAB. Según la documentación, aumentar el presupuesto de recursividad a nivel de tarea produjo ganancias adicionales.

Los desarrolladores pueden editar ocho componentes alrededor del modelo: el prompt del sistema, las barreras de protección, la memoria, las guías de herramientas, los subagentes, las habilidades, los scripts y los plugins. En conjunto, estos componentes controlan cómo se construye el contexto, cómo el modelo interactúa con las herramientas, cómo se delega el trabajo y cómo se comporta el modelo dentro del ciclo de herramientas.

Harness² admite dos formas de escalar el refinamiento. La recursividad paralela sondea varios arneses candidatos a la vez, con una mezcla de candidatos generales y específicos por dominio, y compone los refinamientos a partir de los resultados. La recursividad secuencial lleva el arnés mejorado y su evidencia acumulada a través de pasos sucesivos. El proyecto resume la diferencia de forma sencilla: la recursividad paralela explora más ampliamente, mientras que la recursividad secuencial refina en profundidad. La versión también admite los ejecutores OpenCode y Codex, siendo OpenCode el predeterminado.

El marco incluye tres benchmarks. JobBench cubre trabajo profesional, LAB cubre trabajo jurídico y WorkBuddy-Bench cubre tareas de oficina, web y código. WorkBuddy también ofrece subconjuntos de oficina, web y código. La instalación requiere Linux, Python 3.12 y el gestor de paquetes uv. Una demostración local ejecuta ambos modos de recursividad con editores deterministas y ejecuciones reales de Python, y no necesita credenciales de modelos.

¿Qué se necesita para ejecutar Harness² con benchmarks basados en modelos?

Ejecutar benchmarks basados en modelos requiere más. Los usuarios necesitan Node.js 20 o una versión posterior, la CLI de Google Cloud y las dependencias de cada benchmark. LAB necesita Pandoc y Poppler, y WorkBuddy-Bench necesita Docker. Los modelos se ejecutan a través de Vertex AI, y la documentación advierte que estas ejecuciones generan costos de API, por lo que recomienda seleccionar pocas tareas para comenzar. Una marca de simulación (dry-run) muestra qué tareas se seleccionarían sin realizar llamadas a modelos.

El proyecto también señala un riesgo de seguridad. El acceso de red de los ejecutores no tiene restricciones y Codex se ejecuta con su sandbox desactivado. Las rúbricas públicas de los benchmarks pueden estar disponibles en internet, por lo que la documentación pide a los usuarios configurar restricciones de red antes de la evaluación para mantener las respuestas de los benchmarks y los criterios de calificación fuera de alcance.

Los resultados se guardan en un directorio de ejecuciones, organizado por benchmark y subconjunto. Cada ejecución incluye resúmenes de tareas, entregables, arneses adoptados, notas de reflexión y resultados de evaluación. Los usuarios pueden repetir un comando para reanudar una ejecución interrumpida y deben usar un nuevo directorio de ejecuciones al cambiar de modelos o de selección de tareas.

Harness² tiene licencia Apache 2.0. El código, los benchmarks y los conjuntos de datos de terceros conservan sus licencias originales. El proyecto incluye un aviso que indica que no es un producto de Google con soporte oficial y que no es elegible para el Programa de Recompensas por Vulnerabilidades de Software Open Source de Google. El artículo que lo acompaña, registrado en arXiv con el número 2610.14224, está atribuido a un equipo de investigadores, con Ruiyao Xu como primer autor.

This article was written with the assistance of AI.
News Factory APP - agentic news to boost your SEO & AEO.