GGUF
Das Standarddateiformat zum Ausführen von KI-Modellen auf Ihrem eigenen Computer, wobei das Modell und seine Einstellungen in einer Datei zusammengefasst werden.
GGUF ist das Format, das Sie innerhalb von etwa fünf Minuten antreffen, nachdem Sie versucht haben, ein Modell auf Ihrem eigenen Computer auszuführen. Es bündelt alles, was llama.cpp benötigt, in einer einzigen Datei: die Modellnummern, das Vokabular und die Einstellungen, die die Verwendung beschreiben. Laden Sie eine Datei herunter, richten Sie das Programm darauf und Sie haben ein funktionierendes Modell, keine Python-Umgebung erforderlich.
Die meisten GGUF-Dateien, die Sie sehen, sind quantisiert, was bedeutet, dass die Zahlen des Modells mit geringerer Präzision gespeichert wurden, um die Datei zu verkleinern. Namen wie Q4_K_M verraten, wie aggressiv dieser Squeeze ist. Niedrigere Zahlen bedeuten eine kleinere, schnellere Datei und etwas schlechtere Antworten, und Q4 ist der übliche Sweet Spot. Ein 30-Milliarden-Parameter-Modell, das 60 GB in voller Präzision benötigt, passt als Q4-GGUF oft unter 20 GB.