Paramètres

Les paramètres sont les vis de réglage d’un modèle. Au cours de l’entraînement, des milliards d’entre eux sont modifiés afin que le résultat corresponde aux modèles des données d’entraînement. Le nombre de ces vis de réglage est de 276 milliards de paramètres.

Un plus grand nombre de paramètres signifie généralement plus de capacité et des coûts d’exploitation plus élevés, mais constitue à lui seul une mauvaise mesure de la qualité. L’architecture, les données d’entraînement et les paramètres réellement actifs par requête comptent au moins autant ; Un petit modèle bien construit bat régulièrement un grand modèle bâclé.