llama.cpp
Die Open-Source-Laufzeit, mit der KI-Modelle auf normalen Computern laufen, unter anderem in Ollama und LM Studio.
llama.cpp ist ein kostenloses Open-Source-Programm, das KI-Sprachmodelle auf gewöhnlicher Hardware ausführt. Es wurde für normale Prozessoren statt teurer Grafikkarten optimiert. Vor allem deshalb wurde lokale KI auch für Menschen ohne Spezialausrüstung praktikabel.
Die meisten Nutzer sehen llama.cpp nie direkt. Leicht zugängliche Programme für lokale KI wie Ollama, LM Studio und Jan setzen als Oberfläche darauf auf. Wenn eine dieser Apps meldet, dass ein Modell auf deinem Rechner läuft, übernimmt meist llama.cpp die eigentliche Arbeit.
Das Projekt machte außerdem GGUF als Dateiformat für kleine Modelle und Quantisierung als Verfahren zum Verkleinern von Modellen populär. Dadurch passen sie in den Arbeitsspeicher gewöhnlicher Laptops. Die MIT-Lizenz erlaubt auch die kommerzielle Nutzung.
-
KoboldCpp 1.120 bietet eine neue Möglichkeit zum Laden von Modellen und Unterstützung für die neuesten offenen Modelle
-
Meta hat ein 30B-Modell auf Ihren Laptop geladen und Zuckerberg nutzte die Markteinführung, um einen Kampf anzuzetteln
-
Wir haben lokale KI auf einem sechs Jahre alten Billig-Laptop getestet. Das konnte sie wirklich.