Em outubro, mais de uma em cada quatro requisições no roteador de modelos de IA da Vercel foram direcionadas a modelos de decisão, e não a grandes modelos de linguagem. Para um tipo de IA inventado apenas cerca de um mês antes, essa é uma parcela considerável do trabalho.
O que são modelos de decisão?
Modelos de decisão são LLMs que não produzem tokens de saída. Em vez disso, usam sua inteligência geral para escolher rapidamente e a baixo custo entre opções predefinidas, e informam o quanto confiam na escolha feita. Isso os torna úteis em sistemas de produção, nos quais uma decisão rápida pode importar mais do que o raciocínio detalhado que um modelo de fronteira mais lento e mais caro forneceria.
A TypeSafe construiu seu negócio com base nessa ideia. A empresa se tornou uma companhia avaliada em US$ 7,5 bilhões após lançar sua família de modelos Jev, que ainda domina o uso onde há métricas externas disponíveis. A OpenRouter, que monitora o tráfego para vários provedores de modelos, processou mais de 1,5 bilhão de consultas aos modelos da TypeSafe na semana passada.
Outros perceberam o potencial. Dezenas de modelos de decisão surgiram desde o lançamento do Jev, e a barreira de entrada é baixa. Um engenheiro da Amazon construiu um em um fim de semana, e logo todos os grandes provedores de nuvem tinham sua própria opção. Na terça-feira, o CEO da Microsoft, Satya Nadella, afirmou que a empresa está disponibilizando imediatamente seu modelo de decisão, o Microsoft-Decision-1.1, para uso amplo no Azure.
Players menores também estão entrando na disputa. A Sqwish, startup britânica de IA por trás de um modelo de decisão chamado kettei fat, anunciou uma rodada pre-seed de US$ 3 milhões. Os cofundadores Ushnish Sengupta e Federica Freddi se conheceram como estudantes de pós-graduação em Cambridge. Eles vinham desenvolvendo pequenos LLMs quando o Jev chegou e concluíram que suas arquiteturas poderiam ser reaproveitadas como um modelo de decisão capaz.
Por que as startups apostam na personalização?
Os dados são o fio condutor. A CEO da TypeSafe, Diogo Almeida, disse ao TechCrunch que a parte mais difícil de construir o Jev foi calibrar seu julgamento, o que a empresa fez com dados sintéticos ajustados estatisticamente. A Sqwish também trabalha com dados sintéticos, mas sua proposta é algo mais específico: ferramentas de pós-treinamento integradas que permitem que os dados próprios do cliente aprimorem o julgamento do modelo ao longo do tempo.
“O que faz de nós algo que não é commodity, eu acho, é o fato de estarmos oferecendo aos nossos clientes o mesmo poder…eles podem continuar enviando seus dados de produção e, da mesma forma como treinamos nossos modelos, os modelos deles também podem continuar melhorando nas tarefas que lhes importam”, disse Sengupta ao TechCrunch.
Os benchmarks conseguem classificar modelos de decisão de forma confiável?
Classificar esses modelos é difícil. O kettei fat, da Sqwish, teve bom desempenho em alguns benchmarks, mas muitos desenvolvedores afirmam que o teste real acontece na prática. Os desenvolvedores geralmente conseguem trocar um modelo por outro com pouco esforço e observar como ele se comporta em seu próprio ambiente. Sengupta apresentou os resultados de benchmark como um convite para experimentar o produto, com o ajuste contínuo como motivo para permanecer.
A equipe da Microsoft tem visão semelhante. O Microsoft-Decision-1.1 foi construído para equilibrar custo, latência, inteligência e calibração. Achint Srivastava, vice-presidente de engenharia que liderou o projeto, afirmou que dar atenção excessiva aos benchmarks é um erro.
“O que observamos é que modelos ‘otimizados para benchmarks’ fracassam rapidamente no uso corporativo real”, escreveu Srivastava em um e-mail. “Nossos testes evidenciam como é desafiador entregar precisão, confiabilidade, velocidade e eficiência de custo em um único modelo. O Microsoft-Decision-1.1 e o Jev estão entre os poucos que apresentam bom desempenho nas quatro dimensões, mesmo quando avaliados em benchmarks ‘retidos’ ou inéditos que refletem casos de uso reais.”
Para as startups, o campo competitivo lotado também representa uma oportunidade. Freddi espera que sistemas futuros de IA combinem o que ela chama de inteligência Sistema Um, como os modelos de decisão, com a inteligência Sistema Dois, como os LLMs de fronteira. Ela vê um grande mercado para a camada mais rápida e a descreveu em termos contundentes em comparação com as maiores empresas de IA.
“Mesmo nesse futuro, o Sistema Um é talvez uma oportunidade de US$ 10 bilhões a US$ 50 bilhões, e a OpenAI está fazendo esse IPO com um valor de mercado de US$ 1 trilhão a US$ 2 trilhões em mente”, disse ela ao TechCrunch. “Isso é tudo o que nos importa; já para eles, isso é apenas um projeto paralelo.”
Cet article a été rédigé avec l'assistance de l'IA.
News Factory APP - actualités agentiques pour booster votre SEO et AEO.