Swiftlet
Eine Open-Source-Laufzeitumgebung, die umfangreiche Multiplayer-Modelle auf Macs und iPhones ausführt, indem sie den Großteil der Version von der SSD streamt.
Swiftlet ist eine kostenlose, Apache 2.0-lizenzierte Software für Apple-Hardware, die im August 2026 veröffentlicht wurde. Normalerweise muss ein Modell in Ihren Speicher passen, um überhaupt ausgeführt zu werden. Swiftlet behält nur den permanent aktiven Kern eines Mixed-of-Experts-Modells im Speicher und ruft die einzelnen Experten-Subnetzwerke genau dann von der SSD ab, wenn ein Wort sie benötigt.
Das Ergebnis ist, dass ein Qwen-Modell mit 80 Milliarden Parametern 42 GB Speicherplatz benötigt, auf einem Mac jedoch maximal etwa 4,3 GB RAM benötigt und ein Qwen-Modell mit 35 Milliarden Parametern auf einem iPhone ausgeführt wird. Der Kompromiss ist die Geschwindigkeit, und der ehrliche Vorbehalt des Autors besteht darin, dass Modelle, die auf diese Weise verwendet werden, wie große Modelle schreiben, sich Fakten aber wie kleine merken.