FP8

Cada peso de un modelo es un número, y se puede elegir cuántos bits dedicar a cada uno. Durante años, el valor habitual fue de 16 bits. FP8 utiliza ocho, por lo que el mismo modelo ocupa la mitad de memoria y se desplaza por el chip aproximadamente al doble de velocidad, a cambio de perder algo de precisión.

Los chips modernos incorporan hardware específico para FP8. Por eso, los modelos abiertos más recientes, como los de DeepSeek, suelen distribuirse directamente en este formato en vez de comprimirse después. El problema está en la compatibilidad: no todas las tarjetas ni todos los sistemas de inferencia admiten cada variante de FP8. Esa diferencia explica con frecuencia que un modelo funcione en una GPU y ni siquiera arranque en otra.