Um experimento abrangente envolvendo 17.000 execuções de agentes de codificação lançou luz sobre seus processos de tomada de decisão ao escolher ferramentas. O estudo, que utilizou vários agentes de codificação, incluindo Claude, Codex e Cursor, visou entender os fatores que influenciam suas escolhas. Os resultados mostraram que diferentes agentes confiam em diferentes fontes, com Cursor baseando suas decisões em pesquisas na web em dois terços das sessões, enquanto Codex usa pesquisas na web em 94% das sessões, mas frequentemente se concentra em domínios confiáveis.
O experimento também revelou que as escolhas dos agentes são fortemente influenciadas pelo contexto do repositório. Por exemplo, a mesma pergunta em quatro repositórios diferentes em quatro linguagens de programação resultou em quatro provedores de e-mail diferentes. Isso destaca a importância de considerar o contexto específico no qual as ferramentas serão usadas. Além disso, o estudo encontrou que ser mencionado em conversas não necessariamente se traduz em vitória, pois alguns jogadores bem conhecidos foram frequentemente mencionados, mas raramente escolhidos.
As descobertas do experimento têm implicações significativas para os fornecedores, pois sugerem que recursos adicionais ou detalhes nas páginas de fornecedores podem alterar as escolhas. Por exemplo, Mailgun regularmente perdeu contra Postmark devido à sua política de retenção de 1 dia em seu plano gratuito. O estudo também encontrou que alguns mercados são dominados por um único jogador, enquanto outros são altamente contestados. Stripe, por exemplo, venceu em 9 de cada 10 casos, enquanto o mercado de armazenamento de arquivos foi mais uniformemente dividido entre Amazon S3, Azure e GCP.
Os resultados do experimento estão disponíveis publicamente, permitindo que desenvolvedores e fornecedores obtenham insights sobre os processos de tomada de decisão dos agentes de codificação. À medida que o uso de ferramentas de codificação com IA continua a crescer, entender como esses agentes escolhem ferramentas se tornará cada vez mais importante. As descobertas do experimento podem ajudar os fornecedores a otimizar seus produtos e estratégias de marketing para melhor atrair os agentes de codificação, melhorando assim o processo de desenvolvimento.
Os autores do estudo planejam continuar publicando insights e executando novos experimentos para explorar ainda mais as complexidades da tomada de decisão dos agentes de codificação. Ao fazer isso, eles esperam fornecer informações valiosas para desenvolvedores, fornecedores e a comunidade tecnológica mais ampla, contribuindo assim para o avanço das ferramentas de codificação com IA.
Este artigo foi escrito com a assistência de IA.
News Factory APP - notícias agênticas para impulsionar seu SEO e AEO.