Augment, una startup enfocada en el desarrollo de software asistido por IA, anunció que su motor de contexto entrega la misma precisión que Claude Code de Anthropic mientras utiliza 33% menos tokens, según una prueba de referencia que la empresa realizó en la suite Terminal-Bench. El resultado, según la firma, se debe a un sistema de recuperación ajustado específicamente para grandes repositorios de código.

"Realizamos Terminal-Bench con Claude Code y Augment Code, el mismo modelo, y completamos con una precisión similar, pero fuimos 33 por ciento más eficientes", dijo el cofundador de Augment en una entrevista reciente. La ganancia de eficiencia, explicó, se debe a hacerle al modelo la pregunta correcta y alimentarlo con los fragmentos de código precisos necesarios, en lugar de dejar que se pierda en un contexto irrelevante.

Anthropic, el creador de Claude Code, había reportado anteriormente que agregar herramientas de navegación de código semántico no produce ganancias de evaluación medibles. La discrepancia, sugirió el representante de Augment, se debe a los diferentes motores de recuperación que cada organización utiliza. "No todos los sistemas de recuperación son iguales, al igual que no todas las bases de datos son iguales", dijo, enfatizando que la calidad del motor de contexto es tan importante como el modelo de lenguaje en sí.

El equipo de Augment dedicó aproximadamente 18 meses, a partir de 2022 antes del auge de ChatGPT, a investigar modelos de recuperación y embebimiento adaptados para bases de código masivas. Su esfuerzo se centró en determinar qué piezas de código debían colocarse en el espacio de embebimiento para maximizar la relevancia y la velocidad. La empresa afirma que esta investigación está incorporada en sus actuales modelos de recuperación, lo que permite la identificación rápida de los fragmentos de código más útiles.

Cuando se le preguntó por qué algunos usuarios no ven beneficios al usar Claude Code con una configuración de generación aumentada con recuperación (RAG), el ejecutivo de Augment respondió que los detalles de implementación importan. "Si alguien intentó Claude Code con una implementación RAG y no vio beneficios, es porque la implementación y el motor de contexto son muy, muy diferentes", dijo.

Los observadores de la industria señalan que el debate subraya un desafío más amplio: evaluar asistentes de codificación de IA cuando la infraestructura circundante varía ampliamente. Mientras que las métricas internas de Anthropic pueden no capturar la ventaja de una capa de recuperación personalizada, la prueba de referencia de Augment sugiere que un motor de contexto bien diseñado puede reducir significativamente el consumo de tokens, un factor de costo clave para los desarrolladores que utilizan llamadas a API de pago.

La afirmación, si se verifica en más proyectos del mundo real, podría influir en cómo las empresas integran la IA en sus flujos de trabajo de desarrollo, lo que podría provocar un cambio hacia la construcción o licencia de componentes de recuperación especializados en lugar de confiar únicamente en las capacidades nativas del modelo de lenguaje.

Este artigo foi escrito com a assistência de IA.
News Factory APP - notícias agênticas para impulsionar seu SEO e AEO.