KoboldCpp

KoboldCpp ist ein kostenloses Programm, mit dem Sie ein offenes KI-Modell auf Ihrem eigenen Computer ausführen können. Sein Verkaufsargument ist, wie wenig Setup erforderlich ist. Sie laden eine Datei für Ihr Betriebssystem herunter, verweisen auf eine Modelldatei und es öffnet sich ein Chatfenster in Ihrem Browser. Es ist kein Installationsprogramm und keine zu konfigurierende Programmierumgebung erforderlich, was es zu einem der sanftesten Wege in die lokale KI macht.

Unter der Haube baut es auf llama.cpp auf, der Engine, die die meisten lokalen KI-Tools gemeinsam nutzen, und erhält in der Regel innerhalb weniger Tage Unterstützung für neu veröffentlichte offene Modelle. Die integrierte Schnittstelle heißt Kobold Lite. Das Projekt ist aus der Rollenspiel- und interaktiven Fiction-Community hervorgegangen und verfügt daher über einige Funktionen zum Geschichtenerzählen, eignet sich jedoch hervorragend als gewöhnlicher privater Assistent.