Ollama macht Macs still und leise besser für offene KI-Modelle
Version 0.32.4 bringt Laguna-Unterstützung für Apple-GPUs über MLX, eine intelligentere gemischte Quantisierung für Mixture-of-Experts-Modelle und eine Korrektur für die Qwen3-MoE-Dekodierung. Unspektakuläre Verbesserungen, die darüber entscheiden, ob lokale KI wirklich nutzbar ist.
Während sich die Aufmerksamkeit der Woche auf ein 1,4 Terabyte großes Modell richtete, veröffentlichte das Werkzeug, mit dem die meisten Menschen KI auf dem eigenen Rechner betreiben, Änderungen mit größerer Bedeutung für den Alltag. Ollama 0.32.4 unterstützt nun die Laguna-Modelle von Poolside – konkret XS 2, XS 2.1 und S 2.1 – über Apples Framework MLX auf Apple-GPUs.
Der Rest der Versionshinweise liest sich wie technische Kleinarbeit, und genau darum geht es. Das Update verändert die Quantisierung von Mixture-of-Experts-Modellen. Bei der Quantisierung werden Modellwerte mit geringerer Genauigkeit gespeichert, damit sie weniger Speicher belegen – ähnlich wie ein Foto, das als kleinere JPEG-Datei gesichert wird. Eine grobe Anwendung kostet Qualität; eine gezielte erhält fast die gesamte Qualität bei einem Großteil der Ersparnis. Ollama liest nun die Konfiguration des Ausgangsmodells und wendet eine einheitliche Strategie auf dichte Schichten und geschaltete Expertenschichten an. Router und gekoppelte Ausgabeschicht bleiben in voller Genauigkeit, Attention und Expertenprojektionen werden quantisiert, empfindliche Down-Projektionen einzelner Experten bei Bedarf wieder höher aufgelöst. Das Update behebt außerdem die Dekodierung von Qwen3-MoE-Modellen, deren Experten unterschiedlich quantisiert wurden, und beschleunigt gepackte Gate- und Up-Projektionen auf einem M5 Max laut Messungen um etwa vier bis neun Prozent.
Solche unscheinbaren Arbeiten entscheiden darüber, ob lokale KI praktisch funktioniert. Beim Betrieb auf dem Laptop ist fast nie die Intelligenz der Engpass, sondern der Arbeitsspeicher. Ob ein Modell in den vorhandenen RAM passt, macht den Unterschied zwischen zwei Sekunden und zwei Minuten pro Antwort – oder zwischen laufen und gar nicht laufen. Jede kleine Verbesserung bei der sorgfältigen Komprimierung verschiebt eine Modellklasse von der zweiten in die erste Gruppe. Mixture of Experts ist dabei besonders wichtig, weil diese Architektur inzwischen an der Spitze üblich ist und sich lange nur schwer sauber quantisieren ließ. Der Router, der den zuständigen Experten auswählt, ist zwar klein, reagiert aber äußerst empfindlich auf Genauigkeitsverlust. Ihn wie jede andere Schicht zu behandeln, beschädigt das Modell.
Was das für dich bedeutet: Falls du noch nie ein Modell lokal betrieben hast: Es ist möglich, kostenlos, und deine Eingaben verlassen den Rechner nicht. Ein aktueller Mac mit mindestens 16 GB ist dafür eine brauchbare Maschine. Ollama braucht eine Installation und einen Befehl. Wenn du auf Apple Silicon bereits lokale Modelle nutzt, lohnt sich das Update: Laguna über MLX ist eine echte Ergänzung, und die neue MoE-Quantisierung könnte ein Modell passend machen, das du bisher überspringen musstest. Unter Windows oder Linux mit Nvidia-Karte gelten die MLX-Änderungen nicht, die Qwen3-Korrektur aber schon. In jedem Fall erweitert genau dieser stetige, langweilige Fortschritt unbemerkt die Auswahl dessen, was auf deiner vorhandenen Hardware läuft.
Quellen
Quellen: https://github.com/ollama/ollama/releases/tag/v0.32.4
OpenAI analysiert 800.000 berufliche Chats – und entdeckt, dass Menschen nebenbei fremde Jobs erledigen
Laut einer neuen OpenAI-Studie betreffen 43,5 Prozent der berufsspezifischen ChatGPT-Nutzung Aufgaben, die traditionell zu einem anderen Beruf gehören. Marketingmitarbeiter beheben Codeprobleme, Vertriebler analysieren Daten – besonders häufig in kleinen Unternehmen.
