Wir haben lokale KI auf einem sechs Jahre alten Billig-Laptop getestet. Das konnte sie wirklich.

Das Urteil in Kürze

• Worum es geht: ein KI-Modell auf dem eigenen Rechner ausführen, ohne Konto, Abo oder Internetverbindung
• Was wir getestet haben: Qwen2.5 1.5B Instruct, ein kleines Modell mit offenen Gewichten, in der komprimierten, etwa 1,1 Gigabyte großen Variante Q4_K_M
• Wer dahintersteht: Das Modell stammt von Alibaba, die Laufzeitumgebung aus dem quelloffenen Projekt llama.cpp
• Auf welcher Hardware: AMD Ryzen 3 3250U, ein günstiger Laptop-Prozessor von 2020, zwei verfügbare Kerne, rund 3,8 Gigabyte Arbeitsspeicher und keine separate Grafikkarte
• Getestet: 25. Juli 2026, llama.cpp Build b10107
• Kosten: 0 Euro, kein Konto nötig
• In der EU verfügbar: ja, ohne Anmeldung und ohne Einschränkungen, die geprüft werden müssten
• Geschwindigkeit: 4,8 bis 6,9 Ausgabetokens pro Sekunde, also ungefähr vier Wörter
• Am besten geeignet für: vorhandene Texte offline und privat umformen
• Nicht geeignet für: Aufgaben, bei denen Fakten stimmen müssen
• In einem Satz: Auf so bescheidener Hardware ist lokale KI kein Wissenswerkzeug, sondern ein Werkzeug zur Textbearbeitung, und innerhalb dieser Grenze wirklich nützlich

---

Die meisten Anleitungen für lokale KI beginnen mit einer Grafikkarte, die mehr kostet als ein Gebrauchtwagen. Bei großen Modellen ist das verständlich. Gleichzeitig entsteht der Eindruck, Millionen Menschen mit einem gewöhnlichen Laptop könnten gar nicht mitmachen.

Wir haben die Frage deshalb umgedreht. Nicht: „Wie sieht das beste lokale System aus?“, sondern: Wo liegt die Untergrenze? Was passiert auf einem Rechner, den niemand als Workstation bezeichnen würde?

Die Antwort war interessanter als erwartet.

Was „lokal ausführen“ tatsächlich bedeutet

Wenn du ChatGPT oder Claude nutzt, wandert dein Text in ein Rechenzentrum. Dort erzeugt ein Modell die Antwort und schickt sie zurück. Bei einem lokalen Modell liegt die Modelldatei auf deiner Festplatte, und dein eigener Rechner erledigt die Arbeit. Nichts verlässt das Gerät. Selbst im Zug ohne Empfang funktioniert es.

Der Preis dafür ist die Größe. Ein heruntergeladenes Modell muss in den Arbeitsspeicher passen. Die Modelle für zu Hause sind daher viel kleiner als die in Rechenzentren. Kleinere Modelle wissen weniger und können schlechter schlussfolgern. Entscheidend ist, ob der verbleibende Nutzen trotzdem ausreicht.

Drei Entwicklungen machen das auf schwacher Hardware möglich. Quantisierung komprimiert ein Modell ähnlich wie das Speichern eines Fotos als kleinere JPEG-Datei: Details gehen verloren, dafür schrumpft die Datei erheblich. Kleine Modelle sind enorm besser geworden. Ein Modell mit 1,5 Milliarden Parametern, den anpassbaren Zahlen, die es beim Training lernt, bewältigt heute Aufgaben, für die vor zwei Jahren die zehnfache Größe nötig war. Und llama.cpp, die von uns verwendete Open-Source-Laufzeit, ist für normale Prozessoren statt teurer Grafikkarten gebaut. Sie steckt auch unter der freundlichen Oberfläche verbreiteter Programme wie Ollama, LM Studio und Jan.

So haben wir getestet

Wir führten llama-cli aus Build b10107 in einem Linux-Container aus. Die Datei qwen2.5-1.5b-instruct-q4_k_m.gguf lief mit zwei Prozessor-Threads, einem Kontextfenster von 512 Tokens, also der Textmenge, die sich das Modell gleichzeitig merken kann, und einer Temperatur zwischen 0,2 und 0,3. Das macht Antworten vorhersehbarer und weniger erfinderisch. Das rund 1,1 Gigabyte große Modell kam von Hugging Face.

Anschließend ließen wir vier Aufgaben aus unserem üblichen Testprogramm laufen und notierten die vollständigen Ergebnisse, einschließlich der Fehler.

Was wir ausdrücklich nicht getestet haben. Wir steuerten die Laufzeit über die Kommandozeile und nicht über Ollama, LM Studio oder Jan. Diese Programme setzen eine angenehmere Oberfläche auf dieselbe Technik. Die Geschwindigkeiten dürften deshalb ähnlich sein, gemessen haben wir sie aber nicht. Drei Standardaufgaben ließen wir aus: Lange Dokumente und mehrstufige Aufträge benötigen mehr Kontext, als dieser Rechner bereithalten kann. Außerdem prüften wir neben Deutsch keine zweite europäische Sprache. Jede Eingabe wurde nur einmal ausgeführt; einzelne Ergebnisse sind daher Anhaltspunkte und keine Mittelwerte. Noch ein Hinweis zum Modell: Qwen2.5 erschien im September 2024. Wir wählten es, weil dieses kleine Modell besonders weit verbreitet und gut dokumentiert ist, nicht weil es das neueste wäre. Neuere kleine Modelle besitzen einen späteren Wissensstand. Die folgenden Geschwindigkeitswerte sollten übertragbar sein, die Kritik am veralteten Wissen dagegen womöglich nicht.

Die Messwerte

Zuerst die Geschwindigkeit, denn von ihr hängt ab, ob sich das Ganze praktisch nutzen lässt.

• Eingabe lesen: 11,3 bis 12,5 Tokens pro Sekunde
• Antwort schreiben: 4,8 bis 6,9 Tokens pro Sekunde
• Modell von der Festplatte laden: beim ersten Mal etwa 20 Sekunden, danach schneller, solange die Datei noch im Arbeitsspeicher liegt

Ein Token entspricht ungefähr drei Vierteln eines Wortes. Die Ausgabe liegt damit bei rund 3,5 bis 5 Wörtern pro Sekunde, etwa dem Tempo langsamen Lesens. Du siehst die Wörter nacheinander erscheinen und wartest auf eine kurze Antwort zehn bis zwanzig Sekunden.

Beim Arbeitsspeicher gab es keine Probleme. Das Modell belegte ungefähr ein Gigabyte, der Rechner verfügte über fast vier, und nichts musste auf die Festplatte ausgelagert werden.

Was gut funktionierte

Unordentliche Texte zu strukturieren klappte fehlerfrei. Wir gaben dem Modell absichtlich diese schlampige Einkaufsliste: milk 1.29 two bottles; bread three euro fifty one loaf; 6 eggs 2,80 EUR. Es sollte daraus eine Tabelle mit Artikel, Preis und Menge machen. Das Ergebnis:

| Item  | Price (EUR) | Quantity |
|-------|-------------|----------|
| Milk  | 1.29        | 2        |
| Bread | 3.50        | 1        |
| Eggs  | 2.80        | 6        |

Das Modell machte aus „three euro fifty“ korrekt 3,50, erkannte das Dezimalkomma in „2,80“ und verstand „6 eggs“ als Menge statt als Preis. Auf einem sechs Jahre alten Einsteigerprozessor dauerte das nur wenige Sekunden.

Genau diese Aufgabenklasse funktioniert: neu formatieren, Inhalte extrahieren, aufräumen und umwandeln. Vorhandener Text kommt hinein, besser organisierter Text heraus, Weltwissen ist dafür nicht nötig.

Es erkannte die Grenzen seines Wissens. Auf die Frage nach dem amtierenden deutschen Bundeskanzler und dem Inkrafttreten der Transparenzregeln des EU AI Act antwortete es sinngemäß: Nach seinem letzten Wissensstand von 2023 sei Olaf Scholz Bundeskanzler; zum Zeitpunkt der Transparenzregeln habe es keine genauen Informationen. Der erste Teil ist veraltet. Der zweite ist der erfreuliche: Ein kleines Modell, das Wissenslücken von sich aus benennt, verhält sich besser als manche deutlich größeren Modelle, die stattdessen ein Datum erfinden.

Einfache Entwürfe gelangen. Eine höfliche englische E-Mail zur Absage eines Termins war sinnvoll aufgebaut, korrekt formatiert und enthielt passende Platzhalter in eckigen Klammern für Name und Begründung.

Wo es scheiterte

Deutsch war merklich schwächer als Englisch. Bei einer höflichen Absage auf Deutsch entstand ein verständlicher, aber steifer Text. Darin stand unter anderem „Absagezeilen“, ein Wort, das niemand benutzt, und eine nach Übersetzung klingende Formulierung über die Verpflichtung gegenüber einem wichtigen Projekt. Für unsere Leser ist das aussagekräftiger als jeder Benchmark: Arbeitest du auf Deutsch, Französisch oder Italienisch, wirkt ein kleines lokales Modell unbeholfener als bei derselben Aufgabe auf Englisch. Bei der deutschen Aufgabe sank die Geschwindigkeit außerdem auf 4,8 Tokens pro Sekunde, den niedrigsten Wert der vier Tests.

Die Entwürfe sind austauschbar. Die E-Mail war korrekt und sofort wieder vergessen. Das Modell kennt weder deinen Ton noch deine Lage oder den wahren Grund für die Absage. Ein kostenpflichtiger Cloud-Assistent mit Gedächtnis kann diese Lücke verkleinern. Hier bleibt sie bestehen.

Sein Wissen ist veraltet und lässt sich nicht reparieren. Die Welt des Modells endet 2023. Es gibt keine Websuche, keine Aktualisierungen und kein Gedächtnis. Für aktuelle Informationen ist es das falsche Werkzeug; daran ändert auch ein besserer Prompt nichts.

Warten gehört zur Nutzung. Zwanzig Sekunden Ladezeit, danach fünf Wörter pro Sekunde. Für eine kurze Neuformatierung ist das in Ordnung. Bei einem längeren Text spürst du jede Sekunde.

Kosten und Verfügbarkeit in Europa

Es kostet nichts, das ist die wichtigste Aussage. Kein Abo, kein Konto, keine Kreditkarte, keine Warteliste. Der tatsächliche Preis besteht aus 1,1 Gigabyte Speicherplatz, rund einem Gigabyte Arbeitsspeicher während der Nutzung und deiner Geduld.

Das getestete Qwen2.5 1.5B Instruct veröffentlicht Alibaba unter der Apache-2.0-Lizenz, die kommerzielle Nutzung erlaubt. Das gilt nicht für jedes offene Modell. Lies deshalb die Lizenz, bevor du ein Geschäft darauf aufbaust. llama.cpp steht unter der MIT-Lizenz. Für beide gibt es keine geografischen Einschränkungen. In Europa entsteht also weder ein Verfügbarkeitsproblem noch die übliche sechsmonatige Verzögerung einzelner Funktionen.

Beim Datenschutz ist das die stärkste mögliche Lösung. Dein Text verlässt den Rechner nicht. Es gibt keinen Anbieter, dem eine Datenauskunft geschickt werden müsste, keine Nutzungsbedingungen und keinen versteckten Schalter gegen Trainingsnutzung, denn es findet überhaupt keine Übertragung statt. Wer Kundendaten, medizinische Notizen oder andere Informationen verarbeitet, die ein europäischer Datenschutzbeauftragter dokumentiert sehen möchte, erkennt den erheblichen Unterschied zwischen „in der EU verarbeitet“ und „hat diesen Laptop nie verlassen“.

Für wen es sich lohnt, und wer verzichten sollte

Es lohnt sich, wenn bei dir ein älterer Rechner herumsteht, du vertrauliche Texte nicht hochladen möchtest, gelegentlich offline arbeitest oder die Technik wirklich verstehen willst, indem du ein Stück davon selbst betreibst. Ebenso, wenn du schlicht keine monatliche Gebühr für etwas zahlen möchtest, das ein bereits vorhandener Rechner erledigen kann.

Verzichte darauf, wenn du korrekte Fakten, aktuelle Informationen oder sprachlich ausgefeilte Texte außerhalb des Englischen brauchst. Auch Ungeduld spricht dagegen. Und falls du damit einen kostenpflichtigen Assistenten ersetzen willst: In dieser Größe funktioniert das nicht. Alles andere würde nur deinen Abend verschwenden.

Alternativen

Ollama ist für die meisten der einfachste Einstieg. Ein Installationsprogramm und ein Befehl genügen, dann läuft ein Modell. Darunter arbeitet dieselbe Laufzeitumgebung; Modelle lassen sich aus einer Bibliothek anhand ihres Namens laden.

LM Studio und Jan bieten statt eines Terminals ein Fenster mit Chatfeld, eine integrierte Modellsuche und kommen ganz ohne Kommandozeile aus. Wenn dich Befehle abschrecken, beginne mit einem dieser Programme.

Ein größeres Modell nach demselben Prinzip. Verfügt dein Rechner über 16 Gigabyte Arbeitsspeicher oder eine ordentliche Grafikkarte, spielen Modelle mit 7 bis 12 Milliarden Parametern in einer anderen Liga: besseres Deutsch, bessere Schlussfolgerungen, weiterhin kostenlos und privat. Gemma 4 12B zeigt gut, wie weit diese Klasse inzwischen gekommen ist.

Ein europäisches Cloud-Modell, falls lokal nicht genügt. Mistral verarbeitet Daten nach Stand Juli 2026 standardmäßig in der EU. Nach „die Daten haben meinen Laptop nie verlassen“ ist das die nächstbeste Antwort.

Das Urteil

Wir hatten erwartet, dass ein solcher Rechner versagt. Das tat er nicht. Er scheiterte zwar an manchen Dingen, vor allem an Wissen und gutem Deutsch, erledigte dafür aber genau die Alltagsaufgabe tadellos, die viele Menschen tatsächlich brauchen: aus unordentlichem Text eine saubere Fassung machen.

Das mag nach einem kleinen Erfolg klingen. Doch der Preis lautet: nichts, dauerhaft, offline und auf Hardware, die du vielleicht gerade entsorgen wolltest.

Die ehrliche Einordnung ist daher: Ein kleines lokales Modell ist keine kleinere Ausgabe von ChatGPT. Es ist ein anderes Werkzeug mit einer ähnlichen Oberfläche. Als Textverarbeitung mit eingebautem Sprachverständnis ist es beeindruckend. Als Assistent enttäuscht es dich innerhalb von fünf Minuten.

Getestet am 25. Juli 2026 mit llama.cpp Build b10107 und Qwen2.5 1.5B Instruct Q4_K_M. Lokale KI entwickelt sich schnell, und kleine Modelle werden alle paar Monate besser. Prüfe das Datum dieses Artikels, bevor du dich auf die Zahlen verlässt.

Quellen

• Versionen von llama.cpp (für diesen Test verwendeter Build b10107)
• Modellkarte für Qwen2.5 1.5B Instruct GGUF bei Hugging Face
• Ollama
• LM Studio
• Jan