El equipo de Claude Code de Anthropic ha trasladado la mayor parte de su revisión de código a máquinas, y la empresa afirma que los resultados se sostienen. De junio a septiembre, las solicitudes de extracción fusionadas en la base de código de Claude Code se más que duplicaron, mientras que la proporción que tuvo que revertirse cayó más de un 40 por ciento. El equipo afirma que Claude escribe cerca del 90 por ciento del propio código de Claude Code.

El volumen fue lo que obligó al cambio. En el monorepo principal de Anthropic, la cantidad de cambios integrados cada día pasó de unos 2.500 en mayo a más de 30.000 en septiembre. Claude Code está en su propio repositorio, separado del monorepo, pero el equipo dice que enfrenta una presión similar. "Cuando se publica tan rápido, la revisión manual, línea por línea, es increíblemente difícil, por no decir imposible", escribió el equipo.

El objetivo declarado del equipo no es eliminar la revisión humana, sino dedicar la atención humana donde más importa. La mayoría de las solicitudes de extracción deberían fusionarse con no más de una persona involucrada, y esa persona puede ser el autor, sin aumento de reversiones ni incidentes. El equipo registra las aprobaciones humanas por solicitud de extracción, los comentarios humanos y cuánto tiempo espera una solicitud a que una persona la atienda. Las tasas de reversión e incidentes funcionan como una salvaguarda. Si suben, el equipo no ha ahorrado tiempo; solo ha trasladado el trabajo a una limpieza posterior.

La revisión ahora comienza antes de que exista una solicitud de extracción. Los ingenieros le dan a Claude algo que pueda ejecutar, como pruebas, una compilación o una captura de pantalla para comparar con un diseño, y le piden que muestre el resultado en lugar de simplemente decir que el trabajo está terminado. Luego, un subagente revisa las diferencias con un contexto nuevo. Boris Cherny, creador de Claude Code, ha dicho que darle a Claude una forma de verificar su propio trabajo es probablemente el factor más importante para obtener buenos resultados. Calcula que eso hace que el resultado final sea entre dos y tres veces mejor.

Una vez abierta una solicitud de extracción, Claude revisa cada una antes de que una persona la vea. El revisor lee el cambio en relación con el repositorio completo y con el propósito declarado de la solicitud. La versión pública de Anthropic, Code Review para Claude Code, ya está disponible de forma general en los planes Team y Enterprise. Cuando el equipo probó por primera vez el revisor interno, la proporción de solicitudes de extracción que recibían comentarios sustanciales subió del 16 al 54 por ciento. La mayoría de las solicitudes de más de 1.000 líneas reciben hallazgos, mientras que la mayoría de las pequeñas salen sin observaciones.

Otros agentes verifican los hallazgos antes de que un humano los vea. Varios agentes buscan errores al mismo tiempo, y un grupo aparte vota sobre cada hallazgo. Solo se publican los hallazgos que suficientes agentes consideran reales. Los comentarios de estilo, de diagnóstico y de limpieza se descartan. Cada comentario que queda debe corregirse o resolverse con una justificación, y una solicitud de extracción no puede fusionarse mientras haya un error o un hallazgo de seguridad abierto.

La aprobación humana depende del riesgo. Los cambios de bajo riesgo, como correcciones de documentación o funciones aditivas detrás de una bandera, no necesitan aprobación humana una vez que pasan las verificaciones automatizadas. Los cambios de riesgo medio requieren a una persona. El código de mayor riesgo requiere dos. Un clasificador asigna el nivel según el cambio en sí y no según el autor, y algunas rutas sensibles siempre requieren a una persona. La aprobación de un agente nunca cuenta como la de un humano. La persona que le pidió el cambio al agente es uno de los revisores obligatorios.

El sistema no es perfecto, y el equipo lo reconoce. Algunos errores aún se cuelan. La cola de fusión vuelve a ejecutar las verificaciones contra la rama principal con cada cambio aplicado. El nuevo comportamiento normalmente se despliega primero detrás de una bandera para los empleados de Anthropic, y las banderas de funcionalidad pueden desactivarse sin un despliegue. El equipo tiene una rotación semanal de guardia, pero todavía no cuenta con cortacircuitos automatizados que endurezcan las aprobaciones cuando aumentan las reversiones o los incidentes. Los ingenieros quieren tenerlos antes de que más código pase a fusiones sin participación humana.

El equipo también encontró un problema en su propio revisor. Una solicitud de extracción de la línea de comandos pasó por más de 50 rondas de revisión y correcciones durante la noche, antes de que su autor la detuviera. Cuando el equipo examinó lo que el revisor seguía señalando, alrededor del 59 por ciento correspondía a código que estaba ahí desde la primera pasada de revisión. El revisor casi nunca encontraba errores nuevos. En palabras del equipo, en cada ronda encontraba unos pocos errores viejos más. Como respuesta, el equipo limitó las rondas de revisión a tres, después de las cuales el revisor pide al autor que reconsidere el enfoque, y ahora solo vuelve a revisar los cambios nuevos después de las primeras pasadas.

Los humanos siguen encargándose de las decisiones en las que las máquinas son malas. Los ingenieros deciden si una función debe construirse, revisan código de alto riesgo como facturación, el actualizador automático y los flujos de integración continua, y opinan sobre la arquitectura que otros van a copiar. También leen la evidencia detrás de un cambio y siguen siendo responsables de todo lo que se publica. La norma del equipo es simple: si integras un cambio y algo se rompe, normalmente tú lo corriges.

Dieser Artikel wurde mit Unterstützung von KI verfasst.
News Factory APP - agentische News für besseres SEO & AEO.