AMD trainiert ein vollständig offenes Modell auf eigenen Chips, nur die kommerzielle Lizenz fehlt
Instella-MoE-16B-A3B besitzt 16 Milliarden Parameter, nutzt pro Token aber nur 2,8 Milliarden. AMD veröffentlicht Gewichte aller Trainingsstufen, Datenmischungen und Code; die Gewichte sind nur für Forschung freigegeben.
AMD veröffentlicht Instella-MoE-16B-A3B, ein von Grund auf auf eigenen Instinct-Beschleunigern MI300X und MI325X trainiertes Sprachmodell. Entscheidend ist die Aufteilung: Insgesamt umfasst es 16 Milliarden Parameter, für jedes verarbeitete Wort sind aber nur rund 2,8 Milliarden aktiv.
Das ist das Prinzip einer Mixture of Experts. Jede Eingabe wird nur an einige spezialisierte Teilnetze geleitet, sodass das Wissen eines größeren Modells ungefähr zu den Betriebskosten eines kleinen verfügbar wird. AMD nennt im Durchschnitt 76,7 Punkte für das Basismodell, vor Moonlight-16B-A3B mit 76,2 und OLMo-3-7B mit 70,1; die nachtrainierte Reasoning-Version „Think“ erreicht 73,22. Eine gesperrte Variante von Multi-Head Latent Attention und AMDs Verbindungssystem FarSkip-Collective sollen das Training um 12,7 Prozent beschleunigen und die Zeit bis zum ersten Token um 39,2 Prozent senken. AMD stellt Gewichte sämtlicher Trainingsstufen, Datenmischungen, Konfiguration und Inferenzcode bereit. Der Haken: Die Gewichte stehen unter ResearchRAIL nur für Wissenschaft und Forschung, der Trainingscode unter MIT. Für ein kommerzielles Produkt ist das Modell nicht freigegeben.
Was dahintersteckt. Nvidias Vorsprung beruht nicht nur auf Chips, sondern auf CUDA und jahrelang dafür entwickelten Trainingsrezepten. AMD kann diese Lücke nicht mit technischen Daten schließen, wohl aber mit einem öffentlichen Beleg, dass ein konkurrenzfähiges Modell vollständig auf AMD-Hardware und ROCm trainiert werden kann. Zwischenstände und Datenmischungen richten sich an Forschende, die entscheiden, für welche Hardware die nächste Werkzeuggeneration entsteht. Die Forschungslizenz zeigt: AMD sucht hier Glaubwürdigkeit, nicht direkten Modellumsatz.
Was das für dich bedeutet: Direkt wirst du dieses Modell kaum nutzen. Indirekt beeinflusst ein zweiter glaubwürdiger Anbieter von Trainingshardware die Kosten fast aller KI-Dienste; echte Konkurrenz ist der realistischste Weg zu niedrigeren Preisen. Für Forschung und Studium ist Instella selten wertvoll, weil sich nicht nur das Endmodell, sondern jede Trainingsstufe untersuchen lässt.
Quellen
Quellen: https://rocm.blogs.amd.com/artificial-intelligence/instella-moe/README.html
Die Zahl der KI-Chips weltweit verdoppelt sich etwa alle neun Monate
Epoch AI zählt heute rund 20 Millionen KI-Chips in Rechenzentren und erwartet bis Ende 2028 etwa 200 Millionen. Diese eine Zahl erklärt einen großen Teil der nächsten Entwicklung.
