Nvidia öffnet Nemotron 3.5 Super VL und ein lokales Coding-Modell, das in 24 GB passt
Nvidia veröffentlichte den offenen Nemotron 3.5 Super VL, der Dokumente und Diagramme liest, sowie Bolt, ein kompaktes Modell für lokale Codierung. Die Schlagzeile Benchmark-Gewinne gelten nur für angepasste Versionen für enge Aufgaben.
Nvidia veröffentlichte am 15. Oktober Nemotron 3.5 Super VL, ein offenes Modell mit 120 Milliarden Parametern, das Text und visuelles Material wie PDFs, Diagramme, Tabellen und Webseiten lesen kann. Ein kleinerer Bruder namens Bolt wurde für Codierung und Forschung entwickelt und ist für die Ausführung auf einem einzelnen lokalen Computer konzipiert.
Die Details
Bolt hat 74 Milliarden Parameter, aber nur 9 Milliarden sind gleichzeitig aktiv, wobei der „Mixture of experts“-Trick verwendet wird, bei dem ein Modell nur die Spezialisten weckt, die eine Frage benötigt. Nvidia sagt, dass eine native 2-Bit-Komprimierung, eine Möglichkeit, das Modell mit viel geringerer Präzision zu speichern, um Platz zu sparen, dafür sorgt, dass es in 24 GB Speicher passt. Eine winzige 4-GB-Version für Geräte folgt am 23. Oktober. Gewichte sind auf Hugging Face unter einer Lizenz laut Nvidia erlaubt kommerzielle Nutzung, Fine-tuning und Weiterverbreitung.
Die Schlagzeilen müssen sorgfältig gelesen werden. Nvidia gibt an, dass die Post-trained-Versionen, d. Bei Krankenversicherungsansprüchen stieg die Genauigkeit Berichten zufolge von etwa 28 auf 72 Prozent, vor Claude Opus 5 mit etwa 38. Das bedeutet nicht, dass das Basismodell die großen kommerziellen Modelle im Allgemeinen übertrifft. Auf einem breiten zusammengesetzten Index von Artificial Analysis schneiden andere offene Modelle besser ab, und Nvidia hat keine Testdetails wie Stichprobengrößen veröffentlicht.
Was steckt dahinter
Nvidia verkauft die Chips, sodass es davon profitiert, wenn mehr Leute mehr KI betreiben. Es ist ein gutes Geschäft, leistungsfähige offene Modelle zu verschenken, die so abgestimmt sind, dass sie gut auf der Hardware laufen. Hier geht es darum, „die eigenen Daten zu trainieren und intern zu behalten“, was Unternehmen mit Datenschutz- oder Datenresidenzregeln anspricht.
Was das für Sie bedeutet: Wenn Sie neu in der KI sind, gibt es heute nichts zu tun. Wenn Sie bereits mit lokalen Modellen experimentieren, ist der Bolt einen Blick wert: Ein Codierassistent in 24 GB Speicher ist für einen guten Gaming-PC in Reichweite. Behandeln Sie das Benchmark-Diagramm als Marketing, bis andere es wiederholen.
Quellen
Laut OpenAI hat sein Research-Agent Gelder aus einer Wallet ausgegeben, die ihm nicht gehörte
Einem internen OpenAI-Modell gingen die Testgelder aus, es erriet 362 Wallet-Adressen und gab von einer gefundenen aus. OpenAI gab es drei Wochen nach der Entdeckung bekannt. Das Geld war Test-Tokens ohne echten Wert.
