A equipe do Claude Code, da Anthropic, transferiu a maior parte de sua revisão de código para máquinas, e a empresa afirma que os resultados se sustentam. De junho a setembro, as solicitações de pull mescladas na base de código do Claude Code mais que dobraram, enquanto a proporção que precisou ser revertida caiu mais de 40 por cento. A equipe afirma que o Claude escreve cerca de 90 por cento do próprio código do Claude Code.
O volume foi o que forçou a mudança. No monorepo principal da Anthropic, o número de alterações incorporadas por dia subiu de cerca de 2.500 em maio para mais de 30.000 em setembro. O Claude Code fica em um repositório próprio, separado do monorepo, mas a equipe diz que enfrenta pressão semelhante. "Quando você entrega nesse ritmo, a revisão manual, linha por linha, é incrivelmente difícil, se não impossível", escreveu a equipe.
O objetivo declarado da equipe não é eliminar a revisão humana, mas concentrar a atenção humana onde ela mais importa. A maioria das solicitações de pull deve ser mesclada com no máximo uma pessoa envolvida, e essa pessoa pode ser o autor, sem aumento de reversões ou incidentes. A equipe acompanha as aprovações humanas por solicitação de pull, os comentários humanos e o tempo que uma solicitação de pull espera por uma pessoa. As taxas de reversão e de incidentes funcionam como uma salvaguarda. Se subirem, a equipe não economizou tempo. Apenas transferiu o trabalho para uma limpeza posterior.
A revisão agora começa antes mesmo de existir uma solicitação de pull. Os engenheiros fornecem ao Claude algo que ele pode executar, como testes, um build ou uma captura de tela para comparar com um design, e pedem que ele mostre o resultado em vez de apenas dizer que o trabalho está pronto. Um subagente então revisa o diff com contexto novo. Boris Cherny, criador do Claude Code, afirmou que dar ao Claude uma forma de verificar o próprio trabalho é provavelmente o fator mais importante para obter bons resultados. Ele estima que isso torna o resultado final de duas a três vezes melhor.
Assim que uma solicitação de pull é aberta, o Claude revisa todas elas antes que uma pessoa as analise. O revisor lê a alteração em relação ao repositório completo e ao objetivo declarado da solicitação de pull. A versão pública da Anthropic, o Code Review for Claude Code, já está disponível de forma geral nos planos Team e Enterprise. Quando a equipe testou pela primeira vez o revisor interno, a parcela de solicitações de pull que recebiam comentários substantivos subiu de 16 para 54 por cento. A maioria das solicitações de pull com mais de 1.000 linhas recebe apontamentos, enquanto a maioria das pequenas volta sem problemas.
Os apontamentos são verificados por outros agentes antes que um humano os veja. Vários agentes procuram bugs ao mesmo tempo, e um grupo separado vota em cada apontamento. Apenas os apontamentos que um número suficiente de agentes concorda serem reais são publicados. Comentários sobre estilo, diagnóstico e limpeza são descartados. Cada comentário restante precisa ser corrigido ou resolvido com uma justificativa, e uma solicitação de pull não pode ser mesclada enquanto um bug ou apontamento de segurança permanecer aberto.
A aprovação humana depende do risco. Mudanças de baixo risco, como correções de documentação ou funcionalidades aditivas atrás de uma flag, não precisam de aprovação humana assim que as verificações automatizadas são concluídas. Mudanças de risco médio exigem uma pessoa. O código de maior risco exige duas. Um classificador define o nível com base na própria alteração, não no autor, e alguns caminhos sensíveis sempre exigem uma pessoa. A aprovação de um agente nunca conta como a de um humano. A pessoa que pediu ao agente a alteração é um dos revisores obrigatórios.
O sistema não é perfeito, e a equipe reconhece isso. Alguns erros ainda passam. A fila de mesclagem executa novamente as verificações contra a branch principal com cada alteração aplicada. Novos comportamentos normalmente são liberados primeiro para funcionários da Anthropic atrás de uma flag, e as feature flags podem ser desativadas sem um novo deploy. A equipe tem um plantão semanal em rodízio, mas ainda não possui disjuntores automatizados que endureçam as aprovações quando os números de reversão ou incidentes sobem. Os engenheiros querem esses mecanismos antes que mais código passe para mesclagens sem envolvimento humano.
A equipe também identificou um problema em seu próprio revisor. Uma solicitação de pull de linha de comando passou por mais de 50 rodadas de revisão e correções durante a noite, até que o autor a interrompeu. Quando a equipe examinou o que o revisor continuava apontando, cerca de 59 por cento envolviam código que já estava presente desde a primeira rodada de revisão. O revisor raramente encontrava bugs novos. Nas palavras da equipe, ele encontrava apenas mais alguns problemas antigos a cada rodada. Em resposta, a equipe limitou as rodadas de revisão a três, após as quais o revisor pede ao autor que reconsidere a abordagem, e agora só revisa novamente as alterações feitas após as primeiras passagens.
Os humanos ainda cuidam das decisões em que as máquinas são fracas. Os engenheiros decidem se uma funcionalidade deve ser construída, revisam códigos de risco, como cobrança, o atualizador automático e os fluxos de integração contínua, e opinam sobre arquiteturas que outros vão copiar. Eles também leem as evidências por trás de uma alteração e continuam responsáveis por tudo o que é entregue. A norma da equipe é simples: se você incorporar uma alteração e algo quebrar, normalmente é você quem corrige.
Questo articolo è stato scritto con l'assistenza dell'IA.
News Factory APP - notizie agentiche per potenziare il tuo SEO e AEO.