Quantification

Un modèle est, en dessous, une très grande pile de chiffres. Par défaut, ces chiffres sont stockés de manière assez précise, ce qui est précis mais lourd : un modèle qui nécessite 120 Go en pleine précision ne tiendra pas sur un ordinateur normal. La quantification arrondit ces nombres à une échelle plus grossière, de sorte que chacun prend moins de place. Le même modèle pourrait alors fonctionner en 40 gigaoctets, voire 12, selon la distance parcourue.

Le compromis est la qualité, et elle est généralement inférieure à ce que les gens attendent. Une quantification légère ne coûte souvent presque rien de mesurable, tandis qu’une quantification agressive commence à apparaître comme des réponses plus bâclées. C’est la seule technique qui rend pratique l’exécution de modèles ouverts sur votre propre machine, c’est pourquoi des versions quantifiées communautaires de grands modèles apparaissent sur Hugging Face quelques jours après une sortie.