O ChatGPT partiu o coração de Diogo Almeida. Almeida era um pesquisador da OpenAI que ajudou a construir o chatbot e, em seguida, inventou o aprendizado por reforço com feedback humano (RLHF), a técnica de treinamento de modelo talvez mais responsável por nossa atual era de IA. Mas, apesar de suas capacidades, ele ficou desapontado.

"Nós temos um raio em uma garrafa, e ainda assim não é útil", disse Almeida à TechCrunch. "Eu tenho lutado contra esse problema desde então. Levou um tempo para chegar à conclusão: o problema é que estamos otimizando para a linguagem humana... Nós temos sido super bons em linguagem humana por quatro anos, mas não é útil para automação porque os computadores falam uma linguagem diferente".

Dois anos atrás, Almeida deixou a OpenAI para fundar a TypeSafe AI, uma startup que tenta resolver esse problema. Esta semana, a empresa lançou um novo modelo baseado em transformadores, Jev, que não é um modelo de linguagem grande (LLM). Ele não produz texto, mas em vez disso produz probabilidades, ou o que a empresa chama de "decisões calibradas".

Abandonar a linguagem faz algumas coisas: torna o modelo incrivelmente barato e rápido, e porque os usuários definem as saídas com antecedência, ele não pode alucinar. Seus tokens de saída são gratuitos, e os tokens de entrada são medidos por bilhão, não por milhão.

Uma captura de tela mostra uma comparação do Jev e um modelo da OpenAI respondendo aos mesmos pedidos Imagem Créditos: TypeSafe AI

Os desenvolvedores estão mostrando um grande interesse no produto; a empresa perdeu brevemente a capacidade de atender aos usuários de sua API porque a demanda era tão alta. Jev parece ser mais útil para automação de software. Até agora, os desenvolvedores de software o veem como uma maneira mais barata e robusta de incorporar inteligência em seu código.

Por exemplo, Pranit Sharma, um engenheiro de software da Vercel, uma empresa que faz infraestrutura agente, disse que sua empresa havia usado o ChatGPT Luna 5.6 da OpenAI para executar um classificador para revisar comandos por segurança. Quando a Vercel substituiu o Luna da OpenAI pelo Jev, obteve resultados de cinco a 18 vezes mais rápido e com maior precisão.

Outro desenvolvedor, Nikhil Mudholkar, CTO da Bryo AI, testou o Jev contra o Gemini para classificar e-mails comerciais. Em seu teste, o Gemini foi ligeiramente mais preciso, mas 10 a 20 vezes mais caro. Mais interessante para Mudholkar foram as pontuações de confiança do Jev — "é o único que devolve uma probabilidade real, o que o torna ideal para automatizar fluxos de trabalho!!"

Além de substituir os LLMs em certos casos de uso, o novo modelo também pode complementar os LLMs tradicionais, atuando como uma verificação inteligente de mau comportamento. Usar agentes para monitorar agentes pode se tornar caro, mas usar o Jev para fazer isso, Almeida argumenta, faz sentido. Ele vê os usuários implantando o Jev para rastrear traços de agentes LLM e prevenir jailbreaks.

"No final do dia, ele delega o problema da alucinação um pouco ao usuário", explicou Armin Ronacher, CTO da Earendil, que constrói o modelo de harness de código aberto Pi. "O usuário tem que dizer, ok, se isso só volta com 50% de probabilidade, talvez seja uma moeda, e eu ignoro. Mas se for 95%, então posso fazer algo com isso".

Outro uso potencial para o Jev é o roteamento de modelos, disse Ronacher. Prever se uma determinada carga de trabalho exige um modelo específico seria útil, mas usar um LLM para o trabalho seria caro. O baixo custo e a velocidade do Jev tornam esse tipo de classificação em tempo real possível.

E essa é a esperança de Almeida. O modelo é nomeado em homenagem a William Stanley Jevons, o economista do século XIX cujo paradoxo homônimo descreve como a queda do custo de uma commodity pode levar a seu uso cada vez mais. Nesse caso, a queda do custo da inteligência deve levar à sua implantação generalizada.

"Acreditamos que haverá software inteligente por toda parte de uma maneira emergente e distribuída... muito mais como a internet nos primórdios do que, você sabe, como os megaaplicativos que as pessoas estão tentando construir agora", disse Almeida.

A Arquitetura do Modelo

Almeida é reservado sobre a arquitetura do modelo, que observadores externos suspeitam ser construída em cima de um LLM de peso aberto. A empresa se refere ao Jev como um "modelo System One", focado na intuição em vez do raciocínio, e especificamente focado na tarefa certa. Almeida diz que o Jev é treinado exclusivamente com dados sintéticos usando uma técnica que ele chama de "aprendizado por reforço com decisões calibradas".

"Nós fizemos uma aposta inicial de que vamos criar todos os nossos dados, e isso foi uma das melhores apostas que eu já fiz na minha vida — melhor do que nosso lançamento, na minha opinião, melhor do que o RLHF", disse ele à TechCrunch. "Metade da [nossa empresa] é um laboratório que basicamente possui esse subcampo de dados sintéticos estatisticamente bem compreendidos, e isso agora é a minha alegria".

Por enquanto, o Jev está sozinho como esse tipo de modelo, mas Ronacher espera que concorrentes surjam agora que sua utilidade é aparente.

"Devíamos ter visto isso antes em muitos aspectos, mas presumivelmente porque os LLMs são tão baratos e subsidiados, você nem sempre precisa ser criativo ainda", disse ele.

A própria TypeSafe estará construindo mais versões do modelo, em novas modalidades. Perguntado se a TypeSafe é um laboratório de fronteira, Almeida disse: "o principal produto dos laboratórios de fronteira é o medo ou a hipe. Eu gostaria que nosso principal produto fosse a inteligência... [mas não somos] um laboratório no sentido de, você sabe, como apostar na riqueza infinita, ou uma religião, ou construir Deus em um data center, ou qualquer coisa que seja a coisa do dia".

Dieser Artikel wurde mit Unterstützung von KI verfasst.
News Factory APP - agentische News für besseres SEO & AEO.