Préentraînement
La première phase d'entraînement, la plus coûteuse, où un modèle parcourt d'énormes quantités de texte et apprend des motifs généraux.
C’est au préentraînement qu’un modèle de langage apprend réellement la langue. Il se fraye un chemin dans une pile de texte gigantesque, encore et encore, en ajustant ses nombres internes pour mieux prédire ce qui vient ensuite. Personne ne lui dit encore d’être utile, et il n’a aucune idée de ce qu’est une conversation. Il absorbe simplement des motifs: grammaire, faits, code, forme d’un raisonnement. Cette phase consomme l’essentiel du budget de calcul et dure généralement trois à six mois sur une grosse grappe de machines.
Tout ce qui rend un modèle agréable à utiliser vient après, lors du fine-tuning et d’étapes voisines bien moins coûteuses. Cette séparation explique une bonne part de l’actualité du secteur. Quand vous lisez qu’un modèle est en préentraînement, cela signifie qu’une sortie reste à des mois. Et quand un laboratoire veut améliorer le comportement plutôt que les connaissances brutes, il ne recommence généralement pas de zéro: il ajuste les étapes ultérieures.
-
Un texte Web empoisonné peut installer une porte dérobée de commande cachée dans les agents IA
-
Le Timestral de Mistral prévoit les chiffres au fil du temps et fonctionne sur un simple processeur
-
Microsoft présente MAI-Base-2, un modèle de 2,8 billions de paramètres qu'il ne publiera pas en open-weight
-
Un modèle ouvert allemand avait des réponses de test dans ses données d’entraînement, et c’est grâce à son ouverture que nous le savons
-
Soofi S : l’Allemagne possède désormais un modèle d’IA ouvert en tête des classements open source