Ein leistungsfähiges KI-Modell, das auf dein Smartphone passt und vollständig offline läuft
Das Start-up PrismML verkleinerte ein offenes Modell mit 27 Milliarden Parametern auf unter 4 GB, sodass es auf einem iPhone läuft und etwa 90 Prozent seiner Fähigkeiten behält. Apple testet Berichten zufolge die Kompressionstechnik. Warum KI auf dem Gerät leise wichtig wird.
Die meiste KI, die du heute nutzt, lebt in der Cloud: Du tippst, deine Worte reisen in ein Rechenzentrum und die Antwort kommt zurück. Das von Caltech-Forschern gegründete Start-up PrismML zeigt einen anderen Weg. Sein neues Modell Bonsai 27B ist eine vollwertige KI, die mehrstufig denken, Werkzeuge verwenden und Bilder lesen kann und direkt auf einem iPhone ohne Internetverbindung läuft. Die Modellgewichte sind unter Apache 2.0 offen, sodass jeder sie herunterladen und ausführen kann.
Der clevere Teil ist die Verkleinerung. Ein Modell dieser Größe brauchte normalerweise rund 54 GB Speicher oder selbst nach üblicher Komprimierung etwa 18 GB. PrismML brachte es auf ungefähr 3,9 GB, klein genug für ein iPhone 17 Pro Max. Das geschieht durch aggressive Quantisierung: Die internen Zahlen des Modells werden mit deutlich weniger Detail gespeichert, in der extremsten Variante hat jeder Wert nur noch zwei Zustände. In eigenen Tests über 15 Benchmarks behielt die Telefonversion rund 90 Prozent der Leistung; Mathematik und Programmierung seien „praktisch unbeeinträchtigt“. Auf einem iPhone erzeugt sie etwa 11 Wörter pro Sekunde, ein voller Akku reicht ungefähr für 67.000 Wörter.
Was dahintersteckt: Das sind PrismMLs eigene Zahlen, unabhängige Tests werden die Geschichte erzählen; die stärkste Kompression schadete sichtbar Fähigkeiten wie Bildlesen und dem Befolgen kleinteiliger Anweisungen. Die Richtung zählt aber. Moderne KI-Agenten können für eine Aufgabe Hunderte Modellaufrufe machen. In der Cloud kostet jeder Geld, verzögert das Ergebnis und sendet deine Daten wie Screenshots und Dokumente vom Gerät weg. Auf dem Telefon sind diese Schleifen fast kostenlos und die Daten bleiben bei dir. Das ist besonders für Apple interessant: Dessen KI auf dem Gerät lag hinter Rivalen; laut CNBC führt PrismML bereits sehr frühe Gespräche über eine Lizenz der Kompression.
Was das für dich bedeutet: Heute musst du nichts installieren, außer du experimentierst gern; es gibt eine kostenlose Demo und Entwicklervorschau. Das ist aber das bislang klarste Zeichen, dass private Offline-KI auf dem eigenen Handy real statt Nischenhobby wird. Für Menschen, die sich um den Verbleib von Prompts und Dokumenten sorgen, ist das wirklich gute Nachricht. Erwarte, dass Telefone und Laptops der nächsten Jahre solche KI für Alltägliches nutzen und die Cloud den schwierigsten Aufgaben vorbehalten bleibt.
Quellen
Quellen: https://prismml.com/news/bonsai-27b
OpenAI hat eine KI gebaut, deren einzige Aufgabe ist, seine anderen KIs anzugreifen
OpenAI trainierte ein internes Modell namens GPT-Red, das Sicherheitslücken in den eigenen Systemen suchen soll und sie viel häufiger findet als menschliche Experten. Was Prompt-Injection bedeutet und warum das zählt, wenn KI in deinem Auftrag handelt.
