O que é o Harness² e o que ele faz?

Google Research lançou o Harness², uma estrutura de código aberto projetada para ajudar agentes de IA a lidar com tarefas para as quais nunca foram construídos. O projeto, publicado em um repositório público de código, tem como objetivo aprimorar o sistema que envolve um modelo, e não o modelo em si.

Esse sistema é conhecido como harness. Ele inclui os prompts, ferramentas, memória, habilidades e a lógica de orquestração que permitem que um modelo atue como agente. Harnessing, nos termos do projeto, é o processo de otimização desse sistema. O Harness² foi desenvolvido para fazer isso no que seus desenvolvedores chamam de mundo aberto, em que agentes frequentemente encontram tarefas que o harness não foi projetado para lidar.

Como o Harness² melhora agentes de IA sem alterar os pesos do modelo?

A estrutura opera em dois níveis de recursão. O primeiro, a recursão em nível de tarefa, refina o harness para a tarefa em questão. Ela funciona por meio de uma etapa que os desenvolvedores chamam de Propose–Probe–Compose (Propor–Sondar–Compor). O sistema propõe edições, testa como essas edições alteram o comportamento na mesma tarefa e, em seguida, constrói um harness refinado a partir das diferenças entre as execuções. Isso é feito sem feedback de verdade fundamental, o que significa que não é necessária uma resposta correta para aprender.

O segundo nível, a recursão em nível de harnessing, mantém um harness de aprimoramento persistente. Após cada tarefa, o sistema preserva o harness adotado e quaisquer lições que sejam sustentadas pelas evidências, e então as utiliza para orientar refinamentos posteriores.

A equipe relata resultados em três benchmarks profissionais e quatro configurações de modelo-harness. Uma única etapa do Harness² melhorou o GLM-5 e o Gemini 3.5 Flash em relação aos seus harnesses base. Os maiores ganhos foram de 11,5 pontos no WorkBuddy-Bench, 4,5 pontos no JobBench e 11,8 pontos percentuais na taxa de aprovação parcial do LAB. Segundo a documentação, aumentar o orçamento de recursão em nível de tarefa produziu ganhos adicionais.

Os desenvolvedores podem editar oito componentes em torno do modelo: o prompt do sistema, as salvaguardas, a memória, as orientações sobre ferramentas, os subagentes, as habilidades, os scripts e os plugins. Juntos, esses componentes controlam como o contexto é construído, como o modelo interage com as ferramentas, como o trabalho é delegado e como o modelo se comporta dentro do ciclo de uso de ferramentas.

O Harness² oferece duas formas de escalar o refinamento. A recursão paralela sonda vários harnesses candidatos ao mesmo tempo, com uma combinação de candidatos gerais e específicos de domínio, e compõe refinamentos a partir dos resultados. A recursão sequencial leva o harness aprimorado e suas evidências acumuladas por etapas sucessivas. O projeto resume a diferença de forma simples: a recursão paralela explora de forma mais ampla, enquanto a recursão sequencial refina de forma mais profunda. A versão também oferece suporte aos executores OpenCode e Codex, com o OpenCode como padrão.

A estrutura vem com três benchmarks. O JobBench abrange trabalho profissional, o LAB abrange trabalho jurídico e o WorkBuddy-Bench abrange tarefas de escritório, web e código. O WorkBuddy também oferece subconjuntos de escritório, web e código. A configuração exige Linux, Python 3.12 e o gerenciador de pacotes uv. Uma demonstração local executa os dois modos de recursão com editores determinísticos e execuções reais de Python, e não exige credenciais de modelo.

O que é necessário para executar o Harness² com benchmarks baseados em modelos?

Executar benchmarks baseados em modelos exige mais. Os usuários precisam do Node.js 20 ou versão mais recente, da CLI do Google Cloud e das dependências de cada benchmark. O LAB exige Pandoc e Poppler, e o WorkBuddy-Bench exige Docker. Os modelos são executados pelo Vertex AI, e a documentação alerta que essas execuções geram custos de API, recomendando seleções pequenas de tarefas para começar. Uma flag de simulação (dry-run) mostra quais tarefas seriam selecionadas sem realizar nenhuma chamada ao modelo.

O projeto também sinaliza uma preocupação de segurança. O acesso de rede dos executores é irrestrito, e o Codex é executado com seu sandbox desativado. As rubricas públicas de benchmark podem estar disponíveis online, por isso a documentação orienta os usuários a configurar restrições de rede antes da avaliação, para manter as respostas dos benchmarks e os critérios de correção fora de alcance.

Os resultados são salvos em um diretório de execuções, organizado por benchmark e subconjunto. Cada execução inclui resumos de tarefas, entregáveis, harnesses adotados, notas de reflexão e resultados de avaliação. Os usuários podem repetir um comando para retomar uma execução interrompida e devem usar um novo diretório de execuções ao alterar modelos ou a seleção de tarefas.

O Harness² é licenciado sob Apache 2.0. Código, benchmarks e conjuntos de dados de terceiros mantêm suas licenças originais. O projeto traz um aviso de isenção de responsabilidade informando que não é um produto oficialmente suportado pelo Google e que não é elegível para o Programa de Recompensas por Vulnerabilidades de Software de Código Aberto do Google. O artigo que acompanha o projeto, listado no arXiv como 2610.14224, é creditado a uma equipe de pesquisadores, com Ruiyao Xu citado em primeiro lugar.

Questo articolo è stato scritto con l'assistenza dell'IA.
News Factory APP - notizie agentiche per potenziare il tuo SEO e AEO.