A Baseten lançou o joey-1, um pequeno modelo de IA aberto que responde a perguntas de sim ou não e de múltipla escolha, em vez de redigir respostas, informou a empresa na quinta-feira. A Baseten diz que o modelo custa US$ 0,01 por milhão de tokens, preço que a empresa considera bem abaixo do que chatbots de uso geral normalmente cobram pela geração de texto.

O que é o modelo joey-1 da Baseten?

O Joey-1 tem 2 bilhões de parâmetros e é de pesos abertos, o que significa que seus arquivos de modelo treinado estão disponíveis para que outros façam o download e o executem. Em vez de produzir um parágrafo, ele devolve uma resposta acompanhada de uma pontuação de probabilidade. Esse design, segundo a Baseten, torna os chamados modelos de decisão mais baratos e rápidos para tarefas específicas, como classificar tickets de atendimento ao cliente, sinalizar spam ou filtrar prompts nocivos.

Quanto custa para executar o joey-1?

O modelo se junta a dois lançamentos maiores do Base Labs, o braço de pesquisa da Baseten. O mammoth-1 e o elephant-1 foram lançados na semana passada e funcionam da mesma forma. De acordo com a empresa, o joey-1 responde a uma solicitação típica de 2.000 tokens em 20 milissegundos, cerca de 2,5 vezes mais rápido que o elephant-1. A Baseten também afirma que classificar 10 milhões de tickets de suporte por mês custaria cerca de US$ 50 no joey-1, contra US$ 500 no mammoth-1.

Como o joey-1 se compara a outros modelos de decisão?

A Baseten classifica o joey-1 como o modelo de decisão mais forte com 3 bilhões de parâmetros ou menos. A empresa ainda não publicou os testes que embasam essa afirmação. Sua ficha do modelo posiciona o joey-1 em 37º lugar entre 230 modelos no Jev Decision Index, que a Baseten descreve como a maior pontuação entre modelos com menos de 4 bilhões de parâmetros. O Jev é um modelo de decisão da TypeSafe AI, lançado em setembro, que funciona de maneira semelhante.

O Joey-1 é construído sobre o Qwen3.5-2B, um modelo da Alibaba, e foi treinado com 6,21 milhões de exemplos de decisão. A abordagem está se espalhando além da Baseten. A Microsoft criou seu próprio modelo de decisão baseado no Qwen no início deste mês, com preço de US$ 0,042 por milhão de tokens. Os pesos do modelo da Microsoft podem ser baixados gratuitamente no Hugging Face sob a licença MIT.

A Baseten ajuda empresas a executar modelos de IA em produção. A companhia captou US$ 1,5 bilhão em junho, com avaliação de até US$ 13 bilhões. Em setembro, adquiriu a Blaxel, uma startup que desenvolve ambientes de sandbox, espaços isolados nos quais softwares podem ser testados ou executados com segurança.

Este artigo foi escrito com a assistência de IA.
News Factory APP - notícias agênticas para impulsionar seu SEO e AEO.