Jemand hat DeepSeek V4 Flash in der Produktion auf einer einzigen AMD-Karte zum Laufen gebracht und jeden benötigten Patch veröffentlicht
Ein öffentliches Repository dokumentiert die Konfiguration, Patches und Optimierungen, die zur Bereitstellung von DeepSeek V4 Flash auf einem AMD MI300X erforderlich sind, nicht quantifiziert. Es ist eine nützliche Aufzeichnung darüber, wie viel Arbeit es noch kostet, ein offenes Modell auf Nicht-Nvidia-Hardware auszuführen.
DeepSeek hat die Gewichte für V4 Flash am 31. Juli unter einer MIT-Lizenz veröffentlicht, was bedeutet, dass jeder sie herunterladen und ausführen kann. Ein diese Woche veröffentlichtes Repository zeigt, was „jeder kann es ausführen“ in der Praxis kostet: den vollständigen Satz an Konfigurationsdateien, Patches und Tuning-Tabellen, den ein Ingenieur benötigte, um das Modell zuverlässig auf einer einzelnen AMD MI300X-Karte in der Produktion bereitzustellen, mit der ursprünglichen Präzision des Prüfpunkts, ohne zusätzliche Komprimierung oder Auslagerung in den Systemspeicher.
Das Repositorium ist ungewöhnlich ehrlich, was die damit verbundene Arbeit angeht. Es listet den Docker Compose-Stack, Datei-Overlays, die durch ihre SHA-256-Prüfsummen fixiert sind, damit nichts abweicht, Referenzunterschiede zu den Upstream-Projekten und die Optimierungstabellen auf. Die Korrekturen umfassen das FP8-Zahlenformat des Modells, Experten-Routing bei hoher Parallelität, kausale spekulative Überprüfung, Synchronisierung zwischen CPU- und GPU-Speicher und mehrere Kernelformen, die niemand für diese Karte optimiert hatte. Verwandte Fehlerberichte in den vLLM- und SGLang-Projekten zeigen die gleichen Ecken und Kanten aus der anderen Richtung, einschließlich einer vLLM-Version, in deren Notizen AMD-Unterstützung behauptet wurde, die auf dem neueren MI350X nicht standhielt.
Was dahinter steckt. Der wahre Vorteil von Nvidia war nie nur das Silizium, es ist CUDA, die Softwareschicht, gegen die alles in der KI geschrieben ist. Das Äquivalent von AMD, ROCm, hat sich erheblich verbessert, aber „die Gewichte sind offen“ und „die Gewichte laufen auf Ihrer Hardware“ bleiben unterschiedliche Aussagen, und die Lücke wird durch genau diese Art unscheinbarer Technik geschlossen. Es ist wichtiger, es zu veröffentlichen, als es sich anhört: Durch angeheftete Patches und reproduzierbare Konfigurationen wird aus einem einmaligen, heroischen Aufruf etwas, das die nächste Person an einem Nachmittag kopieren kann. Jedes dieser Repositories macht den zweiten GPU-Anbieter etwas rentabler, was das Einzige ist, was zu einem Abwärtsdruck auf die Rechenpreise führt.
Was das für dich bedeutet: Wenn Sie GPUs mieten oder Inferenz für ein Produkt ausführen, sind AMD-Karten normalerweise pro Speichereinheit günstiger und dies ist ein konkreter Datenpunkt darüber, was für ihre Verwendung erforderlich ist, einschließlich der zu erwartenden Fehlermodi. Wenn Sie dies nicht tun, ist die Geschichte als Hintergrund immer noch wissenswert. Nahezu alle Kosten für KI gehen heute auf die Chips und den Software-Stack eines Unternehmens zurück, und alles, was diese Abhängigkeit untergräbt, zeigt sich letztendlich in dem, was Sie für ein Abonnement bezahlen. Es lohnt sich jedoch, die Erwartungen auf dem Boden zu halten: Dies ist das Setup eines Ingenieurs für eine Karte und ein Modell und kein allgemeines Versprechen, dass open weights überall funktionieren.
Quellen
Quellen: https://github.com/ryanzhou/deepseek-v4-flash-mi300x
Forscher fragten, warum Chatbots bei Tabellenkalkulationen schlecht sind, und die Antwort ist seltsamer als erwartet
In einem neuen Artikel werden fünf Erklärungen dafür getestet, warum große Sprachmodelle gegenüber jahrzehntealten Methoden zur tabellarischen Vorhersage in den Hintergrund treten. In niedrigen Dimensionen verhält sich das Modell wie ein einfacher abstandsbasierter Klassifikator. In höheren Dimensionen gibt es keine klassische Erklärung dafür.
