Cuantización

Un modelo es, en el fondo, un montón muy grande de números. Por defecto, esos números se almacenan con bastante precisión, lo cual es exacto pero pesado: un modelo que necesita 120 gigabytes con total precisión no cabe en una computadora normal. La cuantificación redondea esos números a una escala más gruesa, por lo que cada uno ocupa menos espacio. El mismo modelo podría funcionar en 40 gigabytes, o incluso 12, dependiendo de hasta dónde llegue.

La compensación es la calidad y, por lo general, es menor de lo que la gente espera. La cuantificación leve a menudo no cuesta casi nada mensurable, mientras que la cuantificación agresiva comienza a aparecer como respuestas más descuidadas. Esta es la única técnica que hace que ejecutar modelos abiertos en su propia máquina sea práctico, razón por la cual las versiones comunitarias cuantificadas de modelos grandes aparecen en Hugging Face a los pocos días de su lanzamiento.