GGUF
Format de fichier standard pour exécuter des modèles d'IA sur votre propre ordinateur, regroupant le modèle et ses paramètres dans un seul fichier.
GGUF est le format que vous rencontrerez environ cinq minutes après avoir essayé d’exécuter un modèle sur votre propre machine. Il regroupe tout ce dont llama.cpp a besoin dans un seul fichier : les numéros du modèle, le vocabulaire et les paramètres qui décrivent comment l’utiliser. Téléchargez un fichier, pointez le programme dessus et vous obtenez un modèle fonctionnel, aucun environnement Python requis.
La plupart des fichiers GGUF que vous voyez sont quantifiés, ce qui signifie que les numéros du modèle ont été stockés avec moins de précision pour réduire le fichier. Des noms tels que Q4_K_M vous indiquent à quel point cette pression est agressive. Des nombres inférieurs signifient un fichier plus petit et plus rapide et des réponses légèrement moins bonnes, et le quatrième trimestre est le point idéal habituel. Un modèle de 30 milliards de paramètres qui nécessite 60 Go en pleine précision correspond souvent à moins de 20 Go en tant que GGUF Q4.