GGUF
El formato de archivo estándar para ejecutar modelos de IA en su propia computadora, empaquetando el modelo y su configuración en un solo archivo.
GGUF es el formato que encontrará aproximadamente cinco minutos después de intentar ejecutar un modelo en su propia máquina. Reúne todo lo que llama.cpp necesita en un solo archivo: los números del modelo, el vocabulario y las configuraciones que describen cómo usarlo. Descargue un archivo, apunte el programa hacia él y tendrá un modelo funcional, sin necesidad de un entorno Python.
La mayoría de los archivos GGUF que ves están cuantificados, lo que significa que los números del modelo se han almacenado con menos precisión para reducir el tamaño del archivo. Nombres como Q4_K_M indican cuán agresivo es ese apretón. Los números más bajos significan un archivo más pequeño y más rápido y respuestas ligeramente peores, y el cuarto trimestre es el punto óptimo habitual. Un modelo de 30 mil millones de parámetros que necesita 60 GB con total precisión a menudo cabe en menos de 20 GB como Q4 GGUF.