O benchmarking se tornou a norma da indústria para validar as capacidades dos modelos de IA e, quando as métricas favorecem as empresas, destacar-se dos concorrentes e anunciar sua superioridade. Em outras palavras, bons benchmarks quase sempre significam boa publicidade.

Infelizmente, as empresas também descobriram como manipular os sistemas de benchmarking de legado — muitos dos quais são mais antigos e não foram projetados para medir as capacidades dos modelos modernos.

A Vals, uma startup formada em 2024, afirma que está em uma missão para corrigir esse sistema imperfeito. Em menos de dois anos, a empresa estabeleceu-se como uma presença notável na indústria de tecnologia e, no ano passado, conseguiu garantir uma rodada de financiamento de semente liderada pela 8VC e Bloomberg Beta. Em seguida, no mês passado, após um período de crescimento rápido, a Vals arrecadou US$ 40 milhões em uma rodada de série A liderada pela Andreessen Horowitz.

Rayan Krishnan, co-fundador de 25 anos da empresa, anteriormente fez um estágio na Palantir e, como estudante de graduação em Stanford, trabalhou para a Microsoft e o laboratório de inteligência artificial da universidade. Krishnan afirma que a Vals nasceu de suas próprias observações sobre como o benchmarking estava ficando para trás dos avanços da indústria que ele foi projetado para medir.

"Estávamos vendo uma série de novos modelos muito capazes chegar ao mercado rapidamente, e os benchmarks acadêmicos não estavam acompanhando essa avanço", compartilha Krishnan. Com a IA sendo integrada em todas as partes da sociedade, os benchmarks devem realmente existir para verificar se os modelos podem fazer o que as empresas anunciam que podem fazer, disse Krishnan.

Na semana passada, o jovem fundador me mostrou ao redor do escritório de dois andares da empresa na Rua Folsom, em San Francisco — um prédio de tijolos antigo que, um século atrás, serviu como o local de uma grande cervejaria. Em vez de uma produção industrial de cerveja, a estrutura histórica agora é lar de várias startups que buscam enviar o futuro da indústria de tecnologia.

"Historicamente, acho que a avaliação foi feita para avaliar a inteligência de uma maneira muito abstrata", diz Krishnan. "Como, os modelos sabem o suficiente para ser capaz de fazer um teste de barra?"

Aqui, a Vals busca se diferenciar. Enquanto muitos sistemas de benchmarking oferecem testes que são publicamente disponíveis (isso pode permitir que uma empresa treine seu modelo contra esses testes, assim, arguindo que está trapaceando no exame), a Vals não divulga publicamente seus materiais de teste específicos. Em vez de medir o conhecimento geral de um modelo de IA, a Vals também avalia os modelos em sua capacidade de completar tarefas complexas associadas a indústrias específicas, como direito, finanças e codificação.

"O que estamos fazendo é realmente olhar para quais são os impactos reais dos modelos", disse Krishnan. "Eles podem fazer trabalhos que produzam um produto da mesma qualidade que um humano em todos os domínios?"

A ideia é verificar não apenas os resultados positivos, mas também os negativos, diz ele. A esperança é analisar como, "se esses modelos fossem liberados no mundo, quais seriam as implicações negativas".

As capacidades que a Vals está medindo estão crescendo. Além das indústrias mais tradicionais, a startup continua a avançar em territórios mais únicos. "Temos um benchmark de auto-melhoria recursiva. Estamos fazendo algum trabalho em saúde mental, cibersegurança, biossegurança e até mesmo lei de conflito armado para modelos para entender como aplicar a Convenção de Genebra", compartilha Krishnan.

As empresas pagam à Vals para testar seus modelos, o que pode ser um conceito estranho para entender. Por que uma empresa pagaria para aprender que seu modelo não está funcionando bem? Mas ter uma medição eficaz ajuda as empresas a solucionar problemas e melhorar com o tempo. Krishnan compara seu modelo de receita ao modo como um estudante pode pagar ao College Board para fazer o SAT.

Em troca, essas avaliações estão se tornando fatores-chave de tomada de decisão para empresas que buscam adquirir novos modelos de IA.

A startup recentemente revelou que sua receita atual é oito vezes maior do que no ano passado. Sua equipe também está crescendo. A Vals, que começou o ano com apenas oito pessoas, já triplicou para uma equipe de 25. Krishnan disse que, à medida que a startup cresce, o plano é se mudar para um escritório significativamente maior, bem como contratar mais 10 a 15 pessoas. A empresa também lançou recentemente um programa centrado em fornecer avaliações de modelos para agências federais.

Krishnan vê o sistema de benchmarking de sua empresa como o futuro de como as empresas de IA pensam sobre o crescimento de seus negócios e estabelecem confiança pública.

"As empresas de IA estão começando a ir público. A SpaceX foi pública. A Anthropic está programada para mais tarde este ano. Suspeito que a OpenAI será pública em breve. Acho que, à medida que os modelos de IA se tornam uma parte central da economia e são difundidos mais amplamente, os tipos de benchmarks e avaliações que fazemos serão impulsionar seu uso e ser uma parte central de como essas empresas apresentam relatórios públicos ou falam sobre os investimentos prospectivos que farão em IA", disse ele.

Este artículo fue escrito con la asistencia de IA.
News Factory APP - noticias agénticas para impulsar tu SEO y AEO.