Nvidia lance Nemotron 3.5 Transcribe : un modèle ouvert pour les transcriptions, la traduction et qui a dit quoi
Le nouveau modèle de parole ouvert de Nvidia transcrit 40 langues, en traduit 31 et étiquette les locuteurs en 13, et fonctionne sur un seul GPU, mais uniquement pour l'audio enregistré.
Nvidia a publié Nemotron 3.5 Transcribe, un modèle ouvert qui transforme la parole enregistrée en texte, la traduit et étiquette quel locuteur a dit quoi, le tout en un. Il transcrit 40 langues, en traduit 31 vers ou depuis l’anglais et identifie les locuteurs dans 13. Il gère des enregistrements allant jusqu’à une heure avec jusqu’à huit locuteurs, et vous pouvez le diriger avec une invite de texte, par exemple pour obtenir un résumé ou faire allusion à des termes techniques.
Le modèle comporte 30 milliards de paramètres au total (les paramètres appris à l’intérieur), mais seulement 4 milliards environ sont actifs à chaque étape, ce qui le rend rapide et léger. Il fonctionne sur un seul Nvidia GPU, depuis la petite machine de bureau DGX Spark jusqu’aux cartes de centre de données. Nvidia indique qu’une carte serveur a traité 100 heures d’audio en moins de trois minutes. Dans le classement Hugging Face Open ASR English, il obtient un taux d’erreur de mot moyen de 5,33 %, le premier parmi les modèles open-weight. Le taux d’erreur sur les mots est simplement la part des mots mal transcrits, donc plus bas est mieux. Lors d’un test avec des locuteurs qui se chevauchent, 8,32 % des mots ont été manqués, contre une médiane d’environ 31 % sur 14 systèmes. Il s’agit pour la plupart de chiffres rapportés par Nvidia ou de classement.
Nvidia a également publié ses données de formation, Granary v2, soit environ 844 000 heures de parole en 48 langues, ainsi que des outils permettant de créer des ensembles de données similaires. Fine-tuning (enseigner au modèle votre matériel spécifique) a aidé dans un exemple : les erreurs dans le discours médical des médecins et des étudiants indiens sont passées de 23,8 % à 11,8 %, en 14 heures GPU environ.
Qu’est-ce qu’il y a derrière : la transcription nécessitait auparavant des outils distincts pour le texte, la traduction et les étiquettes des locuteurs, chacun ajoutant des erreurs. Les regrouper est pratique et la publication des données permet à d’autres de s’appuyer sur le travail. Pour Nvidia, les modèles à parole ouverte donnent également aux gens davantage de raisons d’acheter son matériel.
Voici la juste liste de mises en garde. Il fonctionne uniquement sur l’audio enregistré, sans mode temps réel. La prise en charge des fonctionnalités varie selon la langue et la réponse aux questions sur l’audio a été formée uniquement en anglais. Fine-tuning a légèrement nui à la précision générale de l’anglais et un modèle médical spécialisé a mieux géré les médicaments de marque. L’article n’indique pas la licence, alors vérifiez la page Hugging Face avant une utilisation commerciale. Nvidia lui-même conseille de vérifier ponctuellement les noms, les changements de locuteurs et les réponses.
Ce que cela signifie pour vous : si vous souhaitez simplement transcrire une réunion, vous ne l’exécuterez pas manuellement aujourd’hui, mais attendez-vous à ce que les applications l’adoptent. Si vous êtes plus technique et disposez d’un GPU performant, essayez d’abord la démo gratuite sur Hugging Face avec vos propres enregistrements. Pour tout ce qui est sensible, comme l’audio juridique ou médical, tenez un humain au courant.
Sources
OpenAI affirme que son IA a produit trois grandes preuves et demande à des experts externes de les vérifier
OpenAI affirme que ses modèles ont prouvé leurs résultats en informatique, en mathématiques et en physique. Des groupes indépendants sont en train de vérifier, et aucune des affirmations n’est encore confirmée.
