Un experimento integral que involucró 17.000 ejecuciones de agentes de codificación ha arrojado luz sobre sus procesos de toma de decisiones al elegir herramientas. El estudio, que utilizó varios agentes de codificación, incluyendo Claude, Codex y Cursor, tuvo como objetivo entender los factores que influyen en sus opciones. Los resultados mostraron que diferentes agentes confían en diferentes fuentes, con Cursor basando sus decisiones en búsquedas web en dos tercios de las sesiones, mientras que Codex utiliza búsquedas web en el 94% de las sesiones pero a menudo se centra en dominios de confianza.
El experimento también reveló que las opciones de los agentes están fuertemente influenciadas por el contexto del repositorio. Por ejemplo, la misma solicitud en cuatro repositorios diferentes en cuatro lenguajes de programación produjo cuatro ganadores de proveedores de correo electrónico diferentes. Esto destaca la importancia de considerar el contexto específico en el que se utilizarán las herramientas. Además, el estudio encontró que ser mencionado en conversaciones no necesariamente se traduce en ganar, ya que algunos jugadores bien conocidos fueron mencionados con frecuencia pero rara vez elegidos.
Los hallazgos del experimento tienen implicaciones significativas para los proveedores, ya que sugieren que las características adicionales o los detalles en las páginas de los proveedores pueden cambiar las opciones. Por ejemplo, Mailgun perdió regularmente contra Postmark debido a su política de retención de 1 día en su plan gratuito. El estudio también encontró que algunos mercados están dominados por un solo jugador, mientras que otros están muy disputados. Stripe, por ejemplo, ganó en 9 de cada 10 casos, mientras que el mercado de almacenamiento de archivos estaba más dividido entre Amazon S3, Azure y GCP.
Los resultados del experimento están disponibles públicamente, lo que permite a los desarrolladores y proveedores obtener información sobre los procesos de toma de decisiones de los agentes de codificación. A medida que el uso de herramientas de codificación impulsadas por inteligencia artificial sigue creciendo, entender cómo estos agentes eligen herramientas se volverá cada vez más importante. Los hallazgos del experimento pueden ayudar a los proveedores a optimizar sus productos y estrategias de marketing para atraer mejor a los agentes de codificación, mejorando en última instancia el proceso de desarrollo.
Los autores del estudio planean seguir publicando información y realizando nuevos experimentos para explorar aún más las complejidades de la toma de decisiones de los agentes de codificación. Al hacerlo, esperan proporcionar información valiosa para los desarrolladores, proveedores y la comunidad tecnológica en general, contribuyendo en última instancia al avance de las herramientas de codificación impulsadas por inteligencia artificial.
Cet article a été rédigé avec l'assistance de l'IA.
News Factory APP - actualités agentiques pour booster votre SEO et AEO.