Laboratórios de IA construíram suas reputações com base em benchmarks, os resultados de testes que deveriam mostrar se um modelo é melhor que outro. Mas os métodos por trás desses testes são complexos e ainda estão em amadurecimento, e a indústria precisa torná-los mais consistentes antes que alguém possa confiar neles, segundo Irene Solaiman, diretora de políticas da Hugging Face. Ela falou na TechCrunch Disrupt na semana passada.

Os resultados de benchmarks de IA são confiáveis?

Então, os testes divulgados hoje podem ser confiáveis? Solaiman disse que a palavra “confiança” carrega muito peso. Para ela, uma questão-chave é se uma avaliação pode ser reproduzida. Os pesquisadores externos têm o acesso de que precisam ao próprio modelo? “É aqui que os pesos abertos entram de forma decisiva”, disse ela.

Por que a reprodutibilidade é difícil na avaliação de modelos de IA?

A reprodutibilidade há muito tempo é um dos problemas mais espinhosos na avaliação de modelos, e continua sendo tema de intenso debate em toda a indústria. Mesmo quando um teste isolado é sólido, surge uma questão mais difícil: como ele se compara com outras avaliações? Solaiman disse que a área ainda não chegou a esse ponto. “Eles são uma ciência em evolução, em que não sabemos como compará-los de forma significativa entre si”, afirmou.

Os testes também perdem utilidade rapidamente. “Eles começam a ficar ineficazes relativamente rápido, e não temos um ecossistema tão próspero quanto precisamos”, disse ela. “Existe hoje uma grande demanda por um ecossistema de avaliadores embarcados, mas as qualificações que determinam quem é um avaliador eficaz, e em quais tarefas, precisam de muito mais padronização.”

O que é um avaliador de IA embarcado?

A ideia de avaliador embarcado ganhou força nos últimos meses. Nesse modelo, observadores terceirizados, que deveriam ser neutros, atuam dentro das organizações de IA. O movimento coincidiu com uma sequência de incidentes de segurança que aumentaram as preocupações com os possíveis danos da tecnologia. A própria Hugging Face foi alvo de um desses incidentes.

Em vez de defender uma regulação governamental ativa para identificar e reduzir riscos de segurança, muitos laboratórios apoiaram a abordagem de terceiros. Permanecem dúvidas sobre o quão neutros ou eficazes esses avaliadores serão. A decisão da Anthropic de contratar a Accenture como sua primeira avaliadora provocou forte reação negativa, e alguns críticos ironizaram a ideia de que a consultoria estaria qualificada para o trabalho.

A avaliação também está mudando de escopo. Os testes estão indo além do modelo isolado para cobrir todo o sistema construído em torno dele, incluindo o harness e o agente. O harness é a ferramenta que o usuário utiliza para acessar o modelo, e ele pode influenciar muito o desempenho. Solaiman disse que um modelo mais fraco combinado com um harness melhor poderia facilmente superar um modelo de fronteira.

Essa mudança cria problemas próprios. “Avaliações de agentes são realmente difíceis e realmente caras”, disse Solaiman. “Temos mais avaliações para modelos. … Não temos tantas avaliações para harnesses, e estamos desenvolvendo melhores avaliações para o agente como um todo, porque é disso que muita gente está extraindo valor”, acrescentou.

Por enquanto, o espaço de avaliação é, na prática, em grande parte não regulamentado, com cada grupo definindo sua própria abordagem. Se os benchmarks devem continuar úteis para os líderes do setor, o campo provavelmente precisará de uma abordagem mais uniforme e válida para toda a indústria, em que todos trabalhem com o mesmo roteiro.

Cet article a été rédigé avec l'assistance de l'IA.
News Factory APP - actualités agentiques pour booster votre SEO et AEO.