Google und Amazon möchten beide, dass Ihr PyTorch-Code auf ihren Chips läuft, nicht auf dem von Nvidia
Googles TorchTPU und Amazons TorchNeuron versprechen, PyTorch-Apps mit einer einfachen Konfigurationsänderung auf ihre eigenen KI-Chips zu verschieben. Noch kein Benchmarks.
Google und Amazon haben jeweils ein Tool veröffentlicht, das auf einen der leiseren Vorteile von Nvidia abzielt: Die Softwareentwickler schreiben bereits. Laut TechCrunch kündigte Google am 20. Oktober TorchTPU an, eine Open-Source-Version von PyTorch, die auf seinen Tensor Processing Units (TPUs) läuft, und Amazon kündigte einen Tag zuvor TorchNeuron für seine Trainium-Chips an. Beide sagen, dass bestehende PyTorch-Programme mit „einer einfachen Konfigurationsänderung“ und ohne Umschreiben übernommen werden können.
PyTorch ist das Programmier-Toolkit, mit dem die meisten KI-Apps erstellt werden. Meta erstellte es im Jahr 2016 und übergab es im Jahr 2022 an Linux Foundation. TechCrunch gibt an, dass es in einigen Konten bei 85 % der KI-Apps zum Einsatz kommt, obwohl diese Zahl nicht eindeutig belegt ist. Laut Google funktionierte es mit Meta, Hugging Face, Inferact (Hersteller von vLLM), RadixArk (Hersteller von SGLang) und anderen, sodass TorchTPU gut mit gängigen Tools funktioniert. Außerdem wurde eine „TPU-Agenten-Suite“ veröffentlicht, die Entwicklern dabei hilft, Apps zu portieren und Fehler unterwegs zu beheben, und LiteRT, sein Tool zum Ausführen von KI auf Telefonen und Laptops, aktualisiert. Amazon gibt an, Code an PyTorch selbst zu übermitteln, der „verschiedene Funktionen von den Chips von Nvidia entkoppelt“.
Die Vorbehalte sind der wichtige Teil. Die Berichterstattung enthält keine Zahlen zur Akzeptanz und keine Leistungsvergleiche für beide Tools. Es wird auch betont, dass dies nicht bedeutet, dass Entwickler die Nvidia-Hardware automatisch fallen lassen. „Funktioniert mit einer Konfigurationsänderung“ ist ein Versprechen; Wie gut es bei realen, chaotischen Projekten funktioniert, muss sich erst noch zeigen.
Was dahintersteckt: Ein Chip ist nur dann sinnvoll, wenn Software ihn problemlos nutzen kann. Der meiste KI-Code wurde unter Berücksichtigung der GPUs von Nvidia geschrieben und optimiert, da die Funktionen von PyTorch um sie herum aufgebaut wurden. Diese Bequemlichkeit ist ein wichtiger Grund, warum Menschen weiterhin Nvidia kaufen, auch wenn andere Chips möglicherweise billiger sind. Wenn der Wechsel zu einem Mitbewerber ein Wochenende des Umschreibens erfordert, bleiben die meisten Teams dort. Bei einer einzigen Einstellung sinken die Umstellungskosten und die Preise könnten unter Druck geraten. Stellen Sie sich das wie bei Telefonladegeräten vor: Der Stecker und nicht der Akku entscheidet darüber, was Sie kaufen.
Was das für Sie bedeutet: Für die meisten Menschen ändert sich heute nichts. Im Laufe der Zeit könnte ein stärkerer Wettbewerb unter den Chiplieferanten zu günstigeren KI-Diensten und einer geringeren Abhängigkeit von einem Unternehmen führen. Wenn Sie selbst Modelle trainieren oder betreiben, warten Sie auf unabhängige Benchmarks und testen Sie Ihre eigene Arbeitsbelastung in kleinem Maßstab, bevor Sie etwas bewegen.
Quellen
DeepSeek bringt DeepInfer auf den Markt, die Engine, mit der es sein günstigstes Modell betreibt
DeepSeek hat die Serving-Software hinter V4.1-Flash unter Apache 2.0 als Open-Source-Lösung bereitgestellt. Es liegen noch keine Geschwindigkeitszahlen vor, aber es könnte die Kosten für den Eigenbetrieb des Modells senken.
