llama.cpp
El motor de código abierto que ejecuta modelos de IA en ordenadores corrientes, incluido dentro de Ollama y LM Studio.
llama.cpp es un programa gratuito y de código abierto que ejecuta modelos de lenguaje en equipos comunes. Está optimizado para procesadores normales en lugar de costosas tarjetas gráficas, principal motivo por el que la IA local se volvió práctica sin material especializado.
La mayoría de las personas no lo ven directamente. Las aplicaciones accesibles para IA local, Ollama, LM Studio y Jan, son interfaces construidas sobre él. Cuando indican que un modelo se ejecuta en tu máquina, normalmente llama.cpp realiza el trabajo.
El proyecto también popularizó GGUF, el formato de distribución de pequeños modelos, y la cuantización, que reduce su tamaño para que quepan en la memoria de un portátil corriente. Su licencia MIT permite el uso comercial.
-
KoboldCpp 1.120 agrega una nueva forma de cargar modelos y soporte para los abiertos más nuevos
-
Meta puso un modelo 30B en su computadora portátil y Zuckerberg usó el lanzamiento para buscar pelea
-
Probamos una IA local en un procesador barato de hace seis años. Esto es exactamente lo que pudo hacer.