llama.cpp
Le moteur open source qui exécute des modèles d’IA sur des ordinateurs ordinaires, notamment dans Ollama et LM Studio.
llama.cpp est un programme open source gratuit qui exécute des modèles de langage sur du matériel courant. Optimisé pour des processeurs ordinaires plutôt que pour de coûteuses cartes graphiques, il a largement rendu l’IA locale accessible sans équipement spécialisé.
La plupart des utilisateurs ne le voient jamais. Les applications conviviales d’IA locale, Ollama, LM Studio et Jan, lui servent d’interfaces. Lorsqu’elles indiquent qu’un modèle tourne sur votre machine, llama.cpp effectue généralement le travail.
Le projet a également popularisé GGUF, format de diffusion des petits modèles, et les techniques de quantification qui réduisent leur taille afin qu’ils tiennent dans la mémoire d’un portable ordinaire. Sa licence MIT autorise l’usage commercial.
-
KoboldCpp 1.120 ajoute une nouvelle façon de charger des modèles et prend en charge les modèles ouverts les plus récents
-
Meta a mis un modèle 30B sur votre ordinateur portable et Zuckerberg a utilisé le lancement pour se battre
-
Nous avons fait tourner une IA locale sur un processeur d’entrée de gamme vieux de six ans. Voici ce qu’elle sait vraiment faire.