Nvidia lanzó el miércoles Nemotron 3.5 Transcribe, un modelo de IA gratuito y de pesos abiertos que convierte la voz en texto en 40 idiomas. La compañía lanzó una segunda herramienta junto con él: Granary v2, un conjunto de datos gratuito que contiene 463.062 horas de voz en 48 idiomas, frente a 25 en la primera versión.

¿Qué más puede hacer Nemotron 3.5 Transcribe de Nvidia?

El modelo de transcripción puede hacer más que escribir lo que dice la gente. Puede traducir 31 de sus idiomas compatibles hacia o desde el inglés, identificar quién está hablando y responder preguntas sobre una grabación. Maneja grabaciones de hasta una hora y puede distinguir hasta ocho hablantes.

Los desarrolladores orientan el modelo con indicaciones en lenguaje sencillo. Un usuario puede pedir una transcripción limpia o una palabra por palabra, o proporcionarle vocabulario especializado, como términos médicos o de productos, para que lo reconozca. Nvidia afirma que ese tipo de personalización es el punto central. Los desarrolladores pueden combinar el modelo, el conjunto de datos Granary actualizado y herramientas como su modelo NeMo Speech para enseñarle a una aplicación la jerga de una industria particular en cada idioma.

¿Puede Nemotron 3.5 Transcribe de Nvidia ejecutarse en su propio hardware?

Nvidia construyó el modelo con 34.000 millones de parámetros, pero solo unos 4.000 millones están activos en cada paso. Según la compañía, ese diseño lo mantiene rápido y económico de ejecutar. Funciona en un solo chip de Nvidia, desde pequeñas placas Jetson hasta GPU para centros de datos, y su licencia permite el uso comercial.

La compañía afirma que Transcribe ocupa el primer lugar entre los modelos abiertos en la tabla de clasificación de reconocimiento de voz en inglés de Hugging Face, con una tasa media de error de palabras de 5,33 por ciento. Algunas de las afirmaciones en los materiales de Nvidia se presentan como comparaciones con rivales en pruebas de referencia, incluida la Open ASR Leaderboard de Hugging Face. Se trata de cifras de la propia compañía, y la verificación independiente no formó parte del anuncio.

¿Puede el modelo de voz de Nvidia transcribir audio en vivo?

El modelo tiene un límite claro. Está diseñado para audio grabado, no para transmisiones en vivo, por lo que no producirá subtítulos en tiempo real para una reunión o una transmisión mientras ocurre.

Nvidia también mostró cómo el modelo puede ajustarse para una tarea específica. La compañía lo entrenó con habla médica de médicos indios. Ese trabajo redujo los errores en 45,8 por ciento en clips de prueba no utilizados en el entrenamiento y tomó unas 14 horas en una sola GPU.

Las herramientas para desarrolladores están dirigidas a dos áreas en las que la transcripción con IA ya tiene presencia: las reuniones de negocios y la documentación médica. Nvidia presentó el lanzamiento como una forma de que los desarrolladores construyan esas aplicaciones sin pagar tarifas por uso a un proveedor cerrado. Los rivales sí cobran por trabajos similares. La transcripción Grok de SpaceXAI cuesta 10 centavos de dólar por hora, según la comparación de la compañía.

El lanzamiento se suma a una creciente línea de modelos abiertos de Nvidia. Sigue a Nemotron 3 Nano Omni en abril y a Nemotron 3.5 Lightning en agosto. Lightning impulsa el componente de idiomas del nuevo modelo de transcripción. Nvidia también ofrece modelos de voz de pesos abiertos, entre ellos Parakeet, que la compañía describe como pequeño pero potente, con 1.100 millones de parámetros.

El lanzamiento llega en un periodo intenso para la IA de voz. Mistral presentó Voxtral 3 a principios de este mes, ElevenLabs lanzó Realtime para voz instantánea en agentes de voz, y Salesforce publicó Launa-Omni, su propio modelo de voz. La propuesta de Nvidia le da a los desarrolladores otra opción, una que es gratuita para descargar y que, según la compañía, puede ejecutarse en hardware que va desde controladores de robótica hasta portátiles y chips de centros de datos.

Los desarrolladores ya pueden descargar el modelo y el conjunto de datos Granary v2. El audio del conjunto de datos proviene de cada fuente original y se obtiene bajo la licencia propia de esa fuente, por lo que los usuarios deben revisar esos términos antes de usarlo.

Este artigo foi escrito com a assistência de IA.
News Factory APP - notícias agênticas para impulsionar seu SEO e AEO.