llama.cpp
Il motore open source che esegue modelli di IA su computer comuni, anche dentro Ollama e LM Studio.
llama.cpp è un programma gratuito e open source che esegue modelli linguistici di IA su hardware ordinario. È stato ottimizzato per i normali processori anziché per costose schede grafiche, rendendo realistica l’IA locale anche senza apparecchiature speciali.
La maggior parte delle persone non lo vede direttamente. Le applicazioni accessibili per l’IA locale, Ollama, LM Studio e Jan, sono interfacce costruite sopra di esso. Quando indicano che un modello gira sulla macchina, di solito è llama.cpp a svolgere il lavoro.
Il progetto ha anche diffuso GGUF, il formato dei file dei piccoli modelli, e la quantizzazione, che riduce un modello affinché entri nella memoria di un normale portatile. La licenza MIT ne consente l’uso commerciale.
-
KoboldCpp 1.120 aggiunge un nuovo modo di caricare i modelli e il supporto per quelli aperti più recenti
-
Meta ha messo un modello 30B sul tuo laptop e Zuckerberg ha utilizzato il lancio per combattere
-
Abbiamo eseguito un’IA locale su un processore economico di sei anni fa. Ecco cosa riesce davvero a fare.