K2 Horizon liefert sechs offene Modelle und die dazugehörigen Trainingsdaten aus

Während letzte Woche vier kommerzielle Labore Grenzmodelle auslieferten, veröffentlichte ein Forschungsinstitut in Abu Dhabi sechs eigene Modelle und tat etwas, was die großen Labore nicht tun: Es veröffentlichte die Trainingsdaten zusammen mit ihnen. Das Institute of Foundation Models, Teil der Mohamed bin Zayed University of Artificial Intelligence, startete K2 Horizon am 3. September unter der Apache 2.0-Lizenz, die in etwa so freizügig ist, wie Softwarelizenzen nur sein können.

Die Flotte umfasst 0,9 bis 375 Milliarden Parameter. Parameter sind die einstellbaren Zahlen innerhalb eines Modells, und mehr davon bedeuten normalerweise mehr Leistungsfähigkeit und mehr Hardware, die zum Betrieb des Modells erforderlich ist. Es gibt dichte Modelle bei 0,9B, 3,7B, 7B und 32B sowie zwei spärliche Expertenmischungsmodelle bei 36B mit 4B aktiv und 375B mit 23B aktiv. Sparse bedeutet, dass bei einer bestimmten Frage nur ein Bruchteil des Modells aktiviert wird, sodass die Ausführung eines 375B-Modells eher kosten kann als ein 23B-Modell. IFM zielt mit dem Modell 0.9B auf Uhren und Brillen, mit den Modellen 3.7B und 7B auf Telefone, mit den Modellen 32B und 36B auf Laptops und Server vor Ort und mit dem Flaggschiff 375B auf Unternehmensarbeit. IFM behauptet, dass die Modelle 0,9B, 3,7B und 7B in ihren Größen neue Maßstäbe setzen. Zwei technische Anmerkungen aus der Veröffentlichung: eine „Diffusionsdestillations“-Methode, die Token-Blöcke parallel generiert, was eine etwa dreifache Beschleunigung ermöglicht, und eine Architektur mit einer Mischung aus Wert und Aufmerksamkeit, die das Denken ohne zusätzliche Rechenleistung verbessern soll.

Warum „vollständig geöffnet“ nicht dasselbe ist wie „offene Gewichte“. Die meisten Modelle, die als „offen“ bezeichnet werden, einschließlich Llama und DeepSeek, veröffentlichen die Gewichte: die fertigen Zahlen, die Sie zum Ausführen des Dings benötigen. Sie veröffentlichen nicht, was in das Training eingeflossen ist, was bedeutet, dass Sie das Modell verwenden können, es aber nicht überprüfen, reproduzieren oder untersuchen können, warum es sich so verhält, wie es sich verhält. IFM-Gründer Eric Xing formulierte den Unterschied direkt und argumentierte, dass Wissenschaft dann funktioniert, wenn andere die Daten sehen, der Methode folgen und das Ergebnis reproduzieren können. Ob die Modelle den besten Open-Weight-Releases standhalten, ist eine Frage unabhängiger Tests in den kommenden Wochen, und selbstberichtete Benchmarks aus jedem Labor verdienen die gleiche Skepsis. Aber der Transparenzanspruch ist in einer Weise überprüfbar, wie es bei Benchmark-Scores nicht der Fall ist, und das ist vielmehr der Punkt.

Was das für Sie bedeutet. Wenn Sie ein leistungsfähiges Modell auf Ihrem eigenen Computer ausführen möchten, anstatt Ihren Text an den Server eines anderen zu senden, sollten Sie sich die Modelle 7B und 32B ansehen. Sie basieren auf Hugging Face mit vLLM-, SGLang- und Ollama-Unterstützung sowie GGUF-Builds, dem Format, das die meisten Desktop-Tools wünschen. Ein 7B-Modell läuft problemlos auf einem ordentlichen Laptop. Wenn Sie studieren oder lehren, ist dies aufgrund der veröffentlichten Trainingsdaten die am besten einsehbare seriöse Modellfamilie, die derzeit verfügbar ist. Dies ist wichtig, wenn Ihre Frage lautet: „Warum wurde das gesagt“ und nicht „Was wurde gesagt?“. Für alle anderen: Heute ändert sich nichts, aber ein vollständig reproduzierbares Modell in diesem Maßstab gibt Forschern ein Werkzeug an die Hand, nach dem sie seit 2023 gefragt haben.

Quellen

• Pressemitteilung von K2 Horizon (Institute of Foundation Models)
• MBZUAIs Institute of Foundation Models startet K2 Horizon
• IFM veröffentlicht vollständig offene K2 Horizon-Modelle mit Gewichten, Code und Trainingsdaten (AIwire)