Augment, uma startup focada no desenvolvimento de software assistido por IA, anunciou que seu motor de contexto entrega a mesma precisão que o Claude Code da Anthropic, enquanto usa 33% menos tokens, de acordo com um benchmark que a empresa executou na suite Terminal-Bench.

"Executamos o Terminal-Bench com o Claude Code e o Augment Code, o mesmo modelo, e concluímos com precisão semelhante, mas fomos 33 por cento mais eficientes", disse o co-fundador da Augment em uma entrevista recente. O ganho de eficiência, explicou ele, vem de fazer a pergunta certa ao modelo e alimentá-lo com os trechos de código precisos necessários, em vez de deixá-lo vaguear por contextos irrelevantes.

A Anthropic, criadora do Claude Code, relatou anteriormente que adicionar ferramentas de navegação de código semântico não produz ganhos de avaliação mensuráveis. A discrepância, sugeriu o representante da Augment, está enraizada nos diferentes motores de recuperação que cada organização usa. "Não todos os sistemas de recuperação são iguais, assim como não todos os bancos de dados são iguais", disse ele, enfatizando que a qualidade do motor de contexto é tão importante quanto o próprio modelo de linguagem.

A equipe da Augment gastou cerca de 18 meses, começando em 2022, antes do boom do ChatGPT, pesquisando modelos de recuperação e incorporação personalizados para grandes repositórios de código. Seu esforço se concentrou em determinar quais peças de código devem ser colocadas no espaço de incorporação para maximizar a relevância e a velocidade. A empresa afirma que essa pesquisa está incorporada em seus atuais modelos de recuperação, permitindo a identificação rápida dos fragmentos de código mais úteis.

Quando questionado sobre por que alguns usuários não veem benefícios do Claude Code com um setup de geração aumentada por recuperação (RAG), o executivo da Augment respondeu que os detalhes de implementação importam. "Se alguém tentou o Claude Code com um setup de RAG e não viu benefícios, é porque a implementação e o motor de contexto são muito, muito diferentes", disse ele.

Observadores da indústria notam que o debate destaca um desafio mais amplo: avaliar assistentes de codificação de IA quando a infraestrutura circundante varia amplamente. Embora as métricas internas da Anthropic possam não capturar a vantagem de uma camada de recuperação personalizada, o benchmark da Augment sugere que um motor de contexto bem projetado pode reduzir significativamente o consumo de tokens - um fator de custo importante para desenvolvedores que usam chamadas de API pagas.

A afirmação, se verificada em mais projetos do mundo real, pode influenciar como as empresas integram a IA em suas pipelines de desenvolvimento, provocando uma mudança em direção à construção ou licenciamento de componentes de recuperação especializados, em vez de confiar apenas nas capacidades nativas do modelo de linguagem.

Cet article a été rédigé avec l'assistance de l'IA.
News Factory APP - actualités agentiques pour booster votre SEO et AEO.