A Nvidia lançou na quarta-feira o Nemotron 3.5 Transcribe, um modelo de IA gratuito e de pesos abertos que converte fala em texto em 40 idiomas. A empresa lançou junto uma segunda ferramenta: o Granary v2, um conjunto de dados gratuito com 463.062 horas de fala em 48 idiomas, ante 25 na primeira versão.

O que mais o Nemotron 3.5 Transcribe da Nvidia consegue fazer?

O modelo de transcrição faz mais do que registrar o que as pessoas dizem. Ele pode traduzir 31 dos idiomas suportados para o inglês ou a partir dele, identificar quem está falando e responder a perguntas sobre uma gravação. Ele processa gravações de até uma hora e consegue distinguir até oito falantes.

Os desenvolvedores orientam o modelo com instruções em linguagem simples. O usuário pode pedir uma transcrição limpa ou palavra por palavra, ou fornecer vocabulário especializado, como termos médicos ou de produtos, para que o modelo o reconheça. Segundo a Nvidia, esse tipo de personalização é justamente o diferencial. Os desenvolvedores podem combinar o modelo, o conjunto de dados Granary atualizado e ferramentas como o modelo NeMo Speech para ensinar a um aplicativo a terminologia específica de determinado setor em cada idioma.

O Nemotron 3.5 Transcribe da Nvidia pode rodar no seu próprio hardware?

A Nvidia construiu o modelo com 34 bilhões de parâmetros, mas apenas cerca de 4 bilhões são ativados a cada etapa. Segundo a empresa, esse design o torna rápido e barato de executar. Ele funciona em um único chip da Nvidia, desde pequenas placas Jetson até GPUs para data centers, e sua licença permite uso comercial.

A empresa afirma que o Transcribe ocupa a primeira posição entre os modelos abertos no ranking de reconhecimento de fala em inglês da Hugging Face, com taxa média de erro por palavra de 5,33%. Algumas das alegações nos materiais da Nvidia são apresentadas como comparações com concorrentes em testes de referência, incluindo o Open ASR Leaderboard, da Hugging Face. Esses são números da própria empresa, e a verificação independente não fez parte do anúncio.

O modelo de fala da Nvidia consegue transcrever áudio ao vivo?

O modelo tem uma limitação clara. Ele foi projetado para áudio gravado, não para transmissões ao vivo, portanto não produzirá legendas em tempo real para uma reunião ou uma transmissão no momento em que ocorrem.

A Nvidia também mostrou como o modelo pode ser ajustado para uma tarefa específica. A empresa o treinou com falas médicas de médicos indianos. Esse trabalho reduziu os erros em 45,8% em trechos de teste separados e levou cerca de 14 horas em uma única GPU.

As ferramentas para desenvolvedores são voltadas para duas áreas em que a transcrição por IA já tem presença: reuniões corporativas e documentação médica. A Nvidia apresentou o lançamento como uma forma de os desenvolvedores criarem esses aplicativos sem pagar taxas por uso a um provedor fechado. Concorrentes cobram por trabalhos semelhantes. Segundo a comparação da empresa, a transcrição do Grok, da SpaceXAI, custa 10 centavos de dólar por hora.

O lançamento se soma a uma crescente linha de modelos abertos da Nvidia. Ele segue o Nemotron 3 Nano Omni, lançado em abril, e o Nemotron 3.5 Lightning, lançado em agosto. O Lightning alimenta o componente de linguagem do novo modelo de transcrição. A Nvidia também oferece modelos de voz de pesos abertos, incluindo o Parakeet, que a empresa descreve como pequeno, mas potente, com 1,1 bilhão de parâmetros.

O lançamento acontece em um período agitado para a IA de voz. A Mistral lançou o Voxtral 3 no início deste mês, a ElevenLabs lançou o Realtime para fala instantânea em agentes de voz, e a Salesforce lançou o Launa-Omni, seu próprio modelo de voz. A proposta da Nvidia oferece aos desenvolvedores mais uma opção, gratuita para download e que, segundo a empresa, pode rodar em hardware que vai de controladores de robótica a notebooks e chips de data centers.

Os desenvolvedores já podem baixar o modelo e o conjunto de dados Granary v2. O áudio do conjunto vem de cada fonte original e é obtido sob a licença própria de cada uma, por isso os usuários devem verificar esses termos antes de usar.

Este artigo foi escrito com a assistência de IA.
News Factory APP - notícias agênticas para impulsionar seu SEO e AEO.