Nvidias neues Rack ist 10x, 30x oder 67x besser, je nachdem, wer zählt
Neue Zahlen für den Vera Rubin NVL72 sind diese Woche von Nvidia und SemiAnalysis eingetroffen, und die Multiplikatoren variieren stark. Die Verbreitung ist keine Unehrlichkeit, sondern eine Lektion darüber, wie Effizienzansprüche aufgebaut werden.
Diese Woche sind neue Leistungszahlen für Nvidias Vera Rubin NVL72 eingetroffen, das Rack-System, auf dem in den nächsten Jahren ein großer Teil der weltweiten KI laufen wird. Laut Nvidia liefert es einen bis zu 30-mal höheren Durchsatz pro Megawatt als der GB300 NVL72, den es ersetzt, und bis zu 35-mal niedrigere Kosten pro Million Token, gemessen an einer auf DeepSeek V4-Pro basierenden Agenten-Codierungs-Workload. Die Analysten von SemiAnalysis veröffentlichten unter der Überschrift „67-mal bessere Leistung pro Dollar“ einen eigenen Blick auf die gleiche Hardware. Bereits im Juli hat CoreWeave im Vergleich zu einem älteren Blackwell-Rack eines anderen Modells die zehnfache Anzahl an Token pro Megawatt gemessen. Der Vorstandsvorsitzende von Nvidia hat bereits dreimal öffentlich darüber gesprochen.
Der Durchsatz pro Megawatt ist derzeit die Zahl, die am wichtigsten ist, da KI-Rechenzentren durch den verfügbaren Strom und nicht durch Geld oder Grundfläche begrenzt sind. Zehn, dreißig und siebenundsechzig sind sehr unterschiedliche Zahlen, und keine davon ist eine Lüge. Sie unterscheiden sich, da sie jeweils bei einer anderen Einstellung gemessen werden. Die 30-fache Zahl von Nvidia gilt für 160 Token pro Sekunde und Benutzer, also für die Geschwindigkeit, die jeder einzelne Benutzer oder Agent erfährt, während das Modell funktioniert. Schieben Sie das Ziel für die Reaktionsfähigkeit nach oben oder unten, und das Verhältnis ändert sich manchmal erheblich, da sich ein Chip, der viele langsame Benutzer gleichzeitig bedienen kann, anders verhält als einer, der einige sehr schnelle Benutzer bedienen soll. Im Juli wurde CoreWeave mit einer älteren Generation auf einem anderen Modell verglichen. Und Nvidias Zahlen wurden von Nvidia anhand einer Benchmark-Suite von SemiAnalysis gemessen, wobei die Überprüfung durch SemiAnalysis noch aussteht.
Was steckt dahinter
Hier ist eine nützliche Angewohnheit begraben. Wenn ein Hardware- oder Modellanspruch als einzelner Multiplikator eintrifft, wird er in der Regel durch drei Fragen zu etwas Sinnvollem zusammengefasst: verglichen mit dem, bei welcher Einstellung und gemessen von wem. In diesem Fall wird mit der unmittelbar vorherigen Generation verglichen oder zwei Schritte zurück gemacht, bei welcher Reaktionsfähigkeit angestrebt wird, und zwar durch den Anbieter oder durch einen Außenstehenden. Die zugrunde liegende Verbesserung ist real. Jeder, der diese Hardware gemessen hat, ist sich einig, dass der Gewinn groß ist, und für KI-Anbieter führt dies direkt zu günstigeren Schlussfolgerungen, nämlich den laufenden Kosten für die Beantwortung Ihrer Fragen. Es lässt sich einfach nicht in eine Zahl übersetzen.
Was das für Sie bedeutet: Dies ist indirekt auch der Grund dafür, dass der Preis für KI immer weiter sinkt. Hardware, die ein Vielfaches mehr Text pro Stromeinheit produziert, ist der Hauptgrund dafür, dass eine Anfrage, die vor zwei Jahren noch Cent kostete, jetzt Bruchteile eines Cents kostet und sich auf die Kosten auswirkt, die Sie für ein Abonnement oder einen API-Aufruf bezahlen. Das Übertragbare ist direkt die Gewohnheit. Wenn Sie das nächste Mal auf einer Produktseite erfahren, dass etwas „10x schneller“ ist, fragen Sie, womit, bei welcher Einstellung und wer es gemessen hat. Diese einzige Frage unterscheidet in fast jeder KI-Ankündigung, die Sie dieses Jahr lesen werden, eine echte Verbesserung von einem gut gewählten Diagramm.
Quellen
Das Unternehmen hinter den GLM-Modellen hat gerade 5 Milliarden Dollar an einem Tag eingesammelt
Z.AI, ehemals Zhipu, hat durch eine vergünstigte Aktienplatzierung und Nullkupon-Wandelanleihen rund 5 Milliarden Dollar eingesammelt. 60 Prozent fließen in die nächste Generation von GLM-Modellen und die Computer, um sie zu trainieren.
