Nvidia veröffentlicht Nemotron 3.5 Transcribe: Ein offenes Modell für Transkripte, Übersetzungen und wer was gesagt hat
Das neue offene Sprachmodell von Nvidia transkribiert 40 Sprachen, übersetzt 31 und beschriftet Sprecher in 13 und läuft auf einer einzigen GPU, allerdings nur für aufgezeichnete Audiodaten.
Nvidia hat Nemotron 3.5 Transcribe veröffentlicht, ein offenes Modell, das aufgezeichnete Sprache in Text umwandelt, übersetzt und kennzeichnet, welcher Sprecher was gesagt hat, alles in einem. Es transkribiert 40 Sprachen, übersetzt 31 davon ins Englische oder aus dem Englischen und identifiziert Sprecher in 13 Sprachen. Es verarbeitet Aufnahmen von bis zu einer Stunde mit bis zu acht Sprechern und Sie können es mit einer Textaufforderung steuern, um beispielsweise eine Zusammenfassung zu erhalten oder Hinweise auf Fachbegriffe zu geben.
Das Modell verfügt insgesamt über 30 Milliarden Parameter (die darin enthaltenen erlernten Einstellungen), aber bei jedem Schritt sind nur etwa 4 Milliarden aktiv, was es schnell und einfach macht. Es läuft auf einem einzigen Nvidia GPU, von der kleinen Tischmaschine DGX Spark bis hin zu Rechenzentrumskarten. Laut Nvidia verarbeitete eine Serverkarte 100 Stunden Audio in weniger als drei Minuten. Auf der Hugging Face Open ASR English-Bestenliste erreicht es eine durchschnittliche Wortfehlerrate von 5,33 % und ist damit der erste unter den Open-Weight-Modellen. Die Wortfehlerrate ist einfach der Anteil falsch transkribierter Wörter. Je niedriger, desto besser. Bei einem Test mit überlappenden Sprechern wurden 8,32 % der Wörter übersehen, im Vergleich zu einem Mittelwert von etwa 31 % bei 14 Systemen. Dabei handelt es sich meist um Nvidia-gemeldete Zahlen oder Bestenlistenzahlen.
Nvidia veröffentlichte außerdem seine Trainingsdaten, Granary v2, etwa 844.000 Sprachstunden in 48 Sprachen, zusammen mit Tools zum Aufbau ähnlicher Datensätze. Fine-tuning (das Unterrichten des Modells über Ihr spezifisches Material) hat in einem Beispiel geholfen: Der Fehler bei der medizinischen Rede indischer Ärzte und Studenten sank in etwa 14 GPU-Stunden von 23,8 % auf 11,8 %.
Was dahinter steckt: Für die Transkription waren früher separate Tools für Text, Übersetzung und Sprecherbezeichnungen erforderlich, die jeweils Fehler hinzufügten. Sie zu bündeln ist bequem und durch die Veröffentlichung der Daten können andere auf der Arbeit aufbauen. Für Nvidia bieten Open-Speech-Modelle den Leuten auch mehr Gründe, seine Hardware zu kaufen.
Hier ist die faire Vorbehaltsliste. Es funktioniert nur mit aufgezeichnetem Audio, ohne Echtzeitmodus. Die Funktionsunterstützung variiert je nach Sprache und die Beantwortung von Fragen zu Audio wurde nur auf Englisch trainiert. Fine-tuning beeinträchtigte die allgemeine Englischgenauigkeit leicht, und ein spezielles medizinisches Modell handhabte Markenmedikamente besser. In dem Artikel wird keine Lizenz angegeben. Überprüfen Sie daher vor der kommerziellen Nutzung die Seite Hugging Face. Nvidia selbst empfiehlt, Namen, Sprecherwechsel und Antworten stichprobenartig zu überprüfen.
Was das für Sie bedeutet: Wenn Sie nur ein Meeting transkribieren möchten, werden Sie dies heute nicht mehr manuell ausführen, sondern erwarten, dass Apps es übernehmen. Wenn Sie eher technisch versiert sind und über eine leistungsfähige GPU verfügen, probieren Sie zunächst die kostenlose Demo auf Hugging Face mit Ihren eigenen Aufnahmen aus. Halten Sie bei allen sensiblen Themen wie rechtlichen oder medizinischen Audiodaten einen Menschen auf dem Laufenden.
Quellen
OpenAI sagt, seine KI habe drei große Beweise erbracht und bittet externe Experten, diese zu überprüfen
OpenAI behauptet, dass seine Modelle Ergebnisse in Informatik, Mathematik und Physik bewiesen haben. Unabhängige Gruppen prüfen derzeit, und noch ist keine der Behauptungen bestätigt.
