Quantisierung

Ein Modell ist darunter ein sehr großer Zahlenhaufen. Standardmäßig werden diese Zahlen recht präzise gespeichert, was zwar genau, aber umfangreich ist: Ein Modell, das bei voller Genauigkeit 120 Gigabyte benötigt, passt nicht auf einen normalen Computer. Durch die Quantisierung werden diese Zahlen auf eine gröbere Skala gerundet, sodass jede einzelne Zahl weniger Platz einnimmt. Das gleiche Modell könnte dann mit 40 Gigabyte oder sogar 12 Gigabyte laufen, je nachdem, wie weit Sie gehen.

Der Kompromiss liegt in der Qualität, und dieser ist in der Regel geringer, als die Leute erwarten. Eine milde Quantisierung kostet oft fast nichts, was messbar ist, während sich eine aggressive Quantisierung als schlampigere Ergebnisse herausstellt. Dies ist die einzige Technik, die das Ausführen offener Modelle auf Ihrem eigenen Computer praktisch macht, weshalb Community-quantisierte Versionen großer Modelle innerhalb weniger Tage nach der Veröffentlichung auf Hugging Face erscheinen.