Lithos-Metal ist eine neue offene Engine für die schnelle Ausführung von KI auf Apple-Silizium Macs
Die Open-Source-Lithos-Metal-Engine zielt auf Qwen-Modelle auf den M5-Chips von Apple ab und gibt 168 Tokens pro Sekunde an. Bei dieser Zahl handelt es sich um eine Prognose unter angegebenen Annahmen, nicht um eine gemessene End-to-End-Geschwindigkeit.
Ein neues Open-Source-Projekt namens Lithos-Metal zielt darauf ab, die Ausführung großer Sprachmodelle auf Macs zu beschleunigen. Dabei handelt es sich um eine Inferenz-Engine, d. h. das Programm, das tatsächlich ein trainiertes Modell ausführt und seine Antworten generiert. Es wurde speziell für Apple-Silizium entwickelt und ist unter der Lizenz Apache 2.0 lizenziert. In einem Hacker News-Beitrag wurde eine Schlagzeile hervorgehoben: das Qwen3.8-27B-Modell mit 168 Tokens pro Sekunde auf einem 40-Kern-M5 Max. Ein Token ist ein kleiner Textblock, etwa drei Viertel eines Wortes, das wäre also eine sehr hohe Lesegeschwindigkeit.
Lesen Sie das Kleingedruckte, bevor Sie sich aufregen. Die eigene Seite des Projekts nennt 168 eine „Target-Compute-Projektion“ für einen kurzen 128-Token-Kontext auf einem 48-GB-Rechner, wobei sechs akzeptierte Tokens pro achtzeiligem Verifizierungsdurchlauf angenommen werden und ein gewisser Overhead wie Entwurf und Zurückspulen weggelassen wird. Dabei handelt es sich nicht um eine gemessene End-to-End-Geschwindigkeit, und auf der Seite wird darauf hingewiesen, dass sich die Timing-Umfänge zwischen den Backends unterscheiden. Es handelt sich also nicht um einen vergleichbaren Vergleich mit anderen Tools. Bei einem 32.000-Token-Kontext sinkt die prognostizierte Zahl auf 127 Tokens pro Sekunde.
Die Geschwindigkeitsideen sind interessant. „Megakernels“ verschmelzen viele kleine GPU-Schritte zu einem größeren Programm pro Schicht und verkürzen so die Wartezeit. Die Steuerung der Generierung verbleibt auf der GPU, anstatt an die CPU zurückzufallen. Und eine Methode namens DSpark verwendet spekulative Dekodierung: Ein kleines, schnelles Entwurfsmodell errät mehrere Tokens im Voraus, und das große Modell prüft alle in einem Durchgang und behält die richtigen bei. Wenn die Vermutungen gut sind, erhalten Sie mehrere Wörter zum Preis von einem.
Stand der Dinge: Das Projekt ist jung. Es benötigt ein Apple-Silizium Mac auf macOS 26 oder höher und genügend einheitlichen Speicher für das Modell, das Entwurfsmodell und den Kontext. Gemessene Rezepte existieren hauptsächlich für den M5 Max mit 40 GPU-Kernen und den M5 Pro für kleinere Modelle, während andere Chips ungemessen sind und keine automatische Fusion erhalten. Es wird jeweils nur eine Generation ausgeführt und einige Modellintegrationen werden als experimentell gekennzeichnet. Es bietet außerdem einen lokalen Server, der mit gängigen Chat-Schnittstellen kompatibel ist und Coding-Agenten starten kann.
Was das für Sie bedeutet: Wenn Sie gerade erst mit lokaler KI beginnen, brauchen Sie dies nicht; Eine benutzerfreundliche App wie Ollama oder LM Studio ist der einfachere Weg. Wenn Sie einen aktuellen High-End-Mac besitzen und gerne basteln, lohnt es sich, ein Lesezeichen zu setzen, aber warten Sie auf unabhängige Geschwindigkeitstests. Die heutige Lektion ist eine gute Angewohnheit: Wenn eine Geschwindigkeitszahl ohne „gemessen“ daneben eintrifft, fragen Sie, was sie projiziert.
Quellen
Kritischer Fehler im Archon-Coding-Agenten ermöglicht Fremden die Übernahme Ihres Computers
Ein Fehler der maximalen Schweregradklasse (CVSS 9.8) im KI-Coding-Agenten Archon legt eine nicht authentifizierte Steuerschnittstelle offen. Es existiert noch kein Patch; Die vorläufige Lösung besteht darin, die Schnittstelle zu Ihrem eigenen Computer zu sperren.
