Préentraînement
La première phase d'entraînement, la plus coûteuse, où un modèle parcourt d'énormes quantités de texte et apprend des motifs généraux.
C’est au préentraînement qu’un modèle de langage apprend réellement la langue. Il se fraye un chemin dans une pile de texte gigantesque, encore et encore, en ajustant ses nombres internes pour mieux prédire ce qui vient ensuite. Personne ne lui dit encore d’être utile, et il n’a aucune idée de ce qu’est une conversation. Il absorbe simplement des motifs: grammaire, faits, code, forme d’un raisonnement. Cette phase consomme l’essentiel du budget de calcul et dure généralement trois à six mois sur une grosse grappe de machines.
Tout ce qui rend un modèle agréable à utiliser vient après, lors du fine-tuning et d’étapes voisines bien moins coûteuses. Cette séparation explique une bonne part de l’actualité du secteur. Quand vous lisez qu’un modèle est en préentraînement, cela signifie qu’une sortie reste à des mois. Et quand un laboratoire veut améliorer le comportement plutôt que les connaissances brutes, il ne recommence généralement pas de zéro: il ajuste les étapes ultérieures.