Nvidia rilascia Nemotron 3.5 Transcribe: un modello aperto per trascrizioni, traduzioni e chi ha detto cosa
Nemotron 3.5 Transcribe, il nuovo modello vocale aperto di Nvidia, trascrive 40 lingue, ne traduce 31 ed etichetta i parlanti in 13 e funziona su una singola GPU, anche se solo per l'audio registrato.
Nvidia ha rilasciato Nemotron 3.5 Transcribe, un modello aperto che trasforma il discorso registrato in testo, lo traduce ed etichetta quale relatore ha detto cosa, tutto in uno. Trascrive 40 lingue, ne traduce 31 da o verso l’inglese e identifica i parlanti in 13. Gestisce registrazioni fino a un’ora con un massimo di otto parlanti e puoi guidarlo con un messaggio di testo, ad esempio per ottenere un riepilogo o per suggerire termini tecnici.
Il modello ha 30 miliardi di parametri in totale (le impostazioni apprese al suo interno), ma solo circa 4 miliardi sono attivi ad ogni passaggio, il che lo rende veloce e leggero. Funziona su un singolo Nvidia GPU, dal piccolo computer da scrivania DGX Spark alle schede per data center. Nvidia afferma che una scheda server ha elaborato 100 ore di audio in meno di tre minuti. Nella classifica Hugging Face Open ASR English ottiene un tasso medio di errori di parola del 5,33%, primo tra i modelli open-weight. Il tasso di errore delle parole è semplicemente la percentuale di parole trascritte in modo errato, quindi un valore inferiore è migliore. In un test con altoparlanti sovrapposti ha mancato l’8,32% delle parole, contro una media di circa il 31% su 14 sistemi. Si tratta per lo più di dati riportati in Nvidia o della classifica.
Nvidia ha anche rilasciato i suoi dati di addestramento, Granary v2, circa 844.000 ore di parlato in 48 lingue, insieme a strumenti per la creazione di set di dati simili. Fine-tuning (insegnare al modello il proprio materiale specifico) ha aiutato in un esempio: l’errore nel discorso medico dei medici e degli studenti indiani è sceso dal 23,8% all’11,8%, in circa 14 ore GPU.
Cosa c’è dietro: la trascrizione richiedeva strumenti separati per testo, traduzione ed etichette degli oratori, ciascuno dei quali aggiungeva errori. Raggrupparli è conveniente e pubblicare i dati consente ad altri di sviluppare il proprio lavoro. Per Nvidia, i modelli a discorso aperto offrono inoltre alle persone ulteriori motivi per acquistarne l’hardware.
Ecco l’elenco delle avvertenze giuste. Funziona solo con l’audio registrato, senza modalità in tempo reale. Il supporto delle funzionalità varia in base alla lingua e la risposta alle domande sull’audio è stata addestrata solo in inglese. Fine-tuning danneggiava leggermente la precisione dell’inglese generale e un modello medico specializzato gestiva meglio i farmaci di marca. L’articolo non riporta la licenza, quindi controlla la pagina Hugging Face prima dell’uso commerciale. Lo stesso Nvidia consiglia di controllare a campione i nomi, i cambi di relatore e le risposte.
Che cosa significa per te: se desideri semplicemente trascrivere una riunione, oggi non lo eseguirai manualmente, ma ti aspetterai che le app lo adottino. Se sei più tecnico e disponi di una GPU capace, prova prima la demo gratuita su Hugging Face con le tue registrazioni. Per qualsiasi cosa sensibile, come l’audio legale o medico, mantieni un essere umano nel giro.
Fonti
OpenAI afferma che la sua intelligenza artificiale ha prodotto tre grandi prove e chiede a esperti esterni di verificarle
OpenAI sostiene che i suoi modelli hanno dimostrato risultati in informatica, matematica e fisica. Gruppi indipendenti stanno ora verificando e nessuna delle affermazioni è stata ancora confermata.
