Microsoft zeigt eine Vorschau von MAI-Base-2, einem 2,8-Billionen-Parameter-Modell, das Microsoft nicht offen freigibt
MAI-Base-2 von Microsoft ist ein 2,8T-Parameter-Basismodell, das auf 50T Tokens trainiert wurde und laut Microsoft weitaus effizienter lernt als DeepSeek. Es befindet sich noch im Training und wird nur an vertrauenswürdige Partner weitergegeben.
Microsoft AI hat MAI-Base-2 beschrieben, ein sehr großes „Basismodell“ mit insgesamt 2,8 Billionen Parametern und 80 Milliarden gleichzeitig aktiven Parametern. Ein Basismodell ist die rohe erste Stufe einer KI: Sie hat eine enorme Menge an Text gelesen und Muster gelernt, aber ihr wurde noch nicht beigebracht, höflich zu chatten oder Anweisungen zu befolgen. Diese zweite Stufe mit dem Namen Post-training ist noch im Gange.
Die Details
Laut Microsoft wurde MAI-Base-2 auf 50 Billionen Tokens trainiert, kleine Textblöcke, die als Einheit für das KI-Lesen dienen. Der Pool einzigartiger Daten wuchs im Vergleich zur Vorgängerversion um etwa 36 Prozent, und 18 Prozent des Mixes waren Bilder. Der Hauptanspruch lautet Effizienz: Microsoft gibt an, dass es beim Rechenaufwand für das Pre-Training vier- bis zwölfmal effizienter ist als DeepSeek-V4-Pro-Base und dass es jedes Open-Weight-Modell übertrifft, das das Team in seinen eigenen Prüfungen getestet hat.
Auf das Kleingedruckte kommt es an. Die Effizienzzahlen stammen aus angepassten Skalierungsformeln und nicht aus dem Training zweier Modelle nebeneinander. Mehrere Konkurrenzmodelle waren bereits in der Post-trained-Form erhältlich, was Vergleiche verzerren kann. Bei den Codetests wurde die interne Codebasis von Microsoft verwendet. Und die endgültige Leistung kann sich vor der Veröffentlichung ändern.
Was steckt dahinter
Der Microsoft basierte jahrelang auf den Modellen des OpenAI. Der Aufbau eines eigenen Grundmodells ist ein Streben nach Unabhängigkeit, und Effizienz ist das Verkaufsargument: Wenn Sie einen Bruchteil der Rechenleistung benötigen, um die gleiche Qualität zu erreichen, sinken Ihre Kosten und Energierechnungen. Microsoft plant, die Gewichte über seine Foundry-Plattform ohne Datum an vertrauenswürdige Partner zu lizenzieren. Anders als die Veröffentlichungen von Meta und Nvidia in dieser Woche wird es daher nicht offen herunterladbar sein.
Was das für Sie bedeutet: Nichts, was Sie heute verwenden können. Es ist ein Signal, das es wert ist, verfolgt zu werden, da sich das KI-Wettbewerb von „Wer hat das größte Modell“ zu „Wer trainiert am intelligentesten“ verlagert. Warten Sie auf die Post-training-Ergebnisse und unabhängige Tests, bevor Sie Schlussfolgerungen ziehen.
Quellen
Quellen: https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/
Der Muse Spark Open von Meta ist ein riesiges Open-Weight-Modell, das für zwei Mac Studios gebaut wurde
Meta veröffentlichte Muse Spark Open, ein Open-Weight-Modell mit 816 Milliarden Parametern und einem Fenster von einer Million Token, und sagt, dass es auf zwei Apple M5 Ultra Mac Studios läuft. Benchmarks und der vollständige Sicherheitsbericht fehlen noch.
