Nvidia lanza Nemotron 3.5 Transcribe: un modelo abierto para transcripciones, traducción y quién dijo qué
El nuevo modelo de voz abierta de Nvidia transcribe 40 idiomas, traduce 31 y etiqueta a los hablantes en 13, y se ejecuta en una sola GPU, aunque solo para audio grabado.
Nvidia ha lanzado Nemotron 3.5 Transcribe, un modelo abierto que convierte la voz grabada en texto, la traduce y etiqueta qué orador dijo qué, todo en uno. Transcribe 40 idiomas, traduce 31 de ellos al inglés o desde él e identifica hablantes en 13. Maneja grabaciones de hasta una hora con hasta ocho hablantes y puede controlarlo con un mensaje de texto, por ejemplo, para obtener un resumen o dar pistas sobre términos técnicos.
El modelo tiene 30 mil millones de parámetros en total (las configuraciones aprendidas dentro de él), pero solo alrededor de 4 mil millones están activos en cada paso, lo que lo mantiene rápido y liviano. Se ejecuta en un único Nvidia GPU, desde la pequeña máquina de escritorio DGX Spark hasta tarjetas de centro de datos. Nvidia dice que una tarjeta de servidor procesó 100 horas de audio en menos de tres minutos. En la tabla de clasificación Hugging Face Open ASR English obtiene una tasa promedio de error de palabras del 5,33%, el primero entre los modelos open-weight. La tasa de error de palabras es simplemente la proporción de palabras transcritas incorrectamente, por lo que cuanto menor sea, mejor. En una prueba con hablantes superpuestos, se perdió el 8,32% de las palabras, frente a una media de alrededor del 31% en 14 sistemas. En su mayoría, se trata de cifras de tablas de clasificación o informadas por Nvidia.
Nvidia también publicó sus datos de entrenamiento, Granary v2, alrededor de 844.000 horas de conversación en 48 idiomas, junto con herramientas para crear conjuntos de datos similares. Fine-tuning (enseñando al modelo su material específico) ayudó en un ejemplo: el error en el discurso médico de médicos y estudiantes indios cayó del 23,8% al 11,8%, en aproximadamente 14 horas de GPU.
Qué hay detrás de esto: la transcripción solía necesitar herramientas separadas para el texto, la traducción y las etiquetas de los hablantes, cada una de las cuales agregaba errores. Es conveniente agruparlos y publicar los datos permite a otros desarrollar el trabajo. Para Nvidia, los modelos de discurso abierto también brindan a las personas más razones para comprar su hardware.
Aquí está la lista de advertencias justas. Funciona únicamente con audio grabado, sin modo en tiempo real. La compatibilidad con funciones varía según el idioma y la respuesta a preguntas sobre audio se capacitó únicamente en inglés. Fine-tuning perjudicó levemente la precisión general del inglés y un modelo médico especializado manejó mejor los medicamentos de marca. El artículo no indica la licencia, así que consulte la página Hugging Face antes de utilizarlo comercialmente. El propio Nvidia recomienda comprobar nombres, cambios de oradores y respuestas.
Qué significa esto para usted: si solo desea transcribir una reunión, no ejecutará esto manualmente hoy, pero esperará que las aplicaciones lo adopten. Si eres más técnico y tienes una GPU capaz, prueba primero la demostración gratuita en Hugging Face con tus propias grabaciones. Para cualquier tema delicado, como audio legal o médico, mantenga informado a un ser humano.
Fuentes
OpenAI dice que su IA produjo tres grandes pruebas y pide a expertos externos que las revisen
OpenAI afirma que sus modelos demostraron resultados en informática, matemáticas y física. Grupos independientes están ahora comprobando y ninguna de las afirmaciones está confirmada todavía.
