A Baseten lançou o joey-1, um pequeno modelo de IA aberto que responde a perguntas de sim ou não e de múltipla escolha, em vez de redigir respostas, informou a empresa na quinta-feira. A Baseten diz que o modelo custa US$ 0,01 por milhão de tokens, preço que a empresa considera bem abaixo do que chatbots de uso geral normalmente cobram pela geração de texto.

O que é o modelo joey-1 da Baseten?

O Joey-1 tem 2 bilhões de parâmetros e é de pesos abertos, o que significa que seus arquivos de modelo treinado estão disponíveis para que outros façam o download e o executem. Em vez de produzir um parágrafo, ele devolve uma resposta acompanhada de uma pontuação de probabilidade. Esse design, segundo a Baseten, torna os chamados modelos de decisão mais baratos e rápidos para tarefas específicas, como classificar tickets de atendimento ao cliente, sinalizar spam ou filtrar prompts nocivos.

Quanto custa para executar o joey-1?

O modelo se junta a dois lançamentos maiores do Base Labs, o braço de pesquisa da Baseten. O mammoth-1 e o elephant-1 foram lançados na semana passada e funcionam da mesma forma. De acordo com a empresa, o joey-1 responde a uma solicitação típica de 2.000 tokens em 20 milissegundos, cerca de 2,5 vezes mais rápido que o elephant-1. A Baseten também afirma que classificar 10 milhões de tickets de suporte por mês custaria cerca de US$ 50 no joey-1, contra US$ 500 no mammoth-1.

Como o joey-1 se compara a outros modelos de decisão?

A Baseten classifica o joey-1 como o modelo de decisão mais forte com 3 bilhões de parâmetros ou menos. A empresa ainda não publicou os testes que embasam essa afirmação. Sua ficha do modelo posiciona o joey-1 em 37º lugar entre 230 modelos no Jev Decision Index, que a Baseten descreve como a maior pontuação entre modelos com menos de 4 bilhões de parâmetros. O Jev é um modelo de decisão da TypeSafe AI, lançado em setembro, que funciona de maneira semelhante.

O Joey-1 é construído sobre o Qwen3.5-2B, um modelo da Alibaba, e foi treinado com 6,21 milhões de exemplos de decisão. A abordagem está se espalhando além da Baseten. A Microsoft criou seu próprio modelo de decisão baseado no Qwen no início deste mês, com preço de US$ 0,042 por milhão de tokens. Os pesos do modelo da Microsoft podem ser baixados gratuitamente no Hugging Face sob a licença MIT.

A Baseten ajuda empresas a executar modelos de IA em produção. A companhia captou US$ 1,5 bilhão em junho, com avaliação de até US$ 13 bilhões. Em setembro, adquiriu a Blaxel, uma startup que desenvolve ambientes de sandbox, espaços isolados nos quais softwares podem ser testados ou executados com segurança.

This article was written with the assistance of AI.
News Factory APP - agentic news to boost your SEO & AEO.