Kostenloser Geschwindigkeitsschub: Ollama macht lokale KI auf Macs bis zu 90 Prozent schneller
Ollama, die einfachste Möglichkeit, KI-Modelle auf dem eigenen Computer auszuführen, hat Googles Modell Gemma 4 auf Apple-Rechnern gerade drastisch beschleunigt. Keine Einstellungen, keine Nachteile: aktualisieren und schneller arbeiten. So funktioniert der clevere Trick dahinter.
Manchmal wird Software auf die angenehmste denkbare Weise besser: Du aktualisierst sie und sie ist einfach schneller, nichts muss eingerichtet oder bezahlt werden, es gibt keinen Haken. Genau das ist in dieser Woche für Menschen geschehen, die KI-Modelle auf ihren eigenen Macs betreiben. Ollama, ein kostenloses Werkzeug, mit dem sich KI-Modelle lokal ungefähr so einfach ausführen lassen wie eine App installieren, hat Version 0.31 veröffentlicht. Damit erzeugt Googles Modell Gemma 4 auf Apple-Rechnern jetzt bis zu 90 Prozent schneller Text.
Eine kurze Orientierung, falls diese Welt für dich neu ist: Statt mit einer KI in der Cloud wie ChatGPT zu chatten, kannst du ein kostenloses Modell herunterladen und direkt auf deinem Computer betreiben. Deine Fragen verlassen nie das Gerät, das Modell funktioniert offline und verursacht keine Kosten pro Nutzung. Der traditionelle Haken war die Geschwindigkeit, lokale Modelle wirken neben ihren Verwandten in der Cloud oft träge. Deshalb sind Aktualisierungen wie diese wichtig.
Der Trick hinter der Beschleunigung heißt Multi-Token Prediction und ist wirklich clever. Normalerweise erzeugt ein Modell Text Token für Token. Ein Token ist ein Wortbaustein, „ver-steh-en“ könnte aus drei bestehen. Nun eilt ein kleines, schnelles „Entwurfsmodell“ voraus und schlägt die nächsten Tokens vor. Das große Modell prüft anschließend das gesamte Paket in einem Durchgang, behält das Richtige und erstellt das Falsche neu. Das ist wie bei einem Nachwuchsautor, der Sätze entwirft, die ein leitender Redakteur gesammelt freigibt. Das Ergebnis ist identisch mit dem Text, den das große Modell allein geschrieben hätte, es kommt lediglich früher an. Vorhersehbarer Text wie Programmcode profitiert am stärksten; von dort stammt die Angabe von 90 Prozent. Freie Unterhaltungen werden eher 20 bis 40 Prozent schneller, was noch immer deutlich spürbar ist.
Im Hintergrund gibt es weitere Geschwindigkeitsgewinne auf Apples neuesten Chips. Zudem erklärt Ollama, Gemma 4 sei nur das erste Modell, das diese Behandlung erhält, weitere sollen folgen.
Was das für dich bedeutet: Wenn du Ollama bereits mit Gemma 4 nutzt, installiere die Aktualisierung und genieße den Gewinn, das war es schon. Falls du lokale KI auf deinem eigenen Computer ausprobieren wolltest, aber dachtest, sie müsse quälend langsam sein: Diese Annahme altert sehr schnell sehr schlecht. Ein aktueller Mac und ein freier Abend reichen für einen Versuch, und Aktualisierungen wie diese schließen stillschweigend weiter die Lücke zur Cloud.
Quellen
Betrüger haben einen neuen Trick: Sie registrieren die Webadressen, die KI erfindet
KI-Chatbots erfinden manchmal Webadressen, die nicht existieren, und Forscher haben entdeckt, dass sie immer wieder dieselben erfinden. Angreifer kaufen diese Adressen und bauen dort gefälschte Websites auf, um auf KI-Nutzer zu warten. So gehörst du nicht zu ihren Opfern.
