FP8
Eine kompakte Möglichkeit, die Nummern eines Modells mit jeweils acht Bits zu speichern, wodurch sich der Speicherverbrauch im Vergleich zum älteren 16-Bit-Standard halbiert.
Jedes Gewicht in einem Modell ist eine Zahl, und Sie können wählen, wie viele Bits Sie für jedes Gewicht ausgeben möchten. Der Standardwert lag jahrelang bei 16 Bit. FP8 verwendet acht, was bedeutet, dass dasselbe Modell die Hälfte des Speichers benötigt und sich ungefähr doppelt so schnell durch den Chip bewegt, allerdings auf Kosten der Präzision.
Moderne Chips verfügen über speziell für FP8 entwickelte Hardware, weshalb neuere offene Modelle wie die von DeepSeek häufig direkt in diesem Format ausgeliefert werden, anstatt sie anschließend zu komprimieren. Der Haken ist die Kompatibilität: Nicht jede Karte und nicht jedes Serving-Framework unterstützt jede FP8-Variante, und diese Nichtübereinstimmung ist ein häufiger Grund dafür, dass ein Modell, das auf einer GPU gut läuft, sich weigert, auf einer anderen zu starten.