Token

Un token est l’unité de texte de base avec laquelle travaille un grand modèle de langage. Au lieu de lire des mots entiers ou des lettres, les modèles découpent le texte en tokens, des fragments qui correspondent en moyenne à environ trois quarts d’un mot. Un mot courant peut former un seul token, tandis que les mots plus longs ou inhabituels sont divisés en plusieurs unités.

Les tokens ont leur importance pour deux raisons pratiques. Premièrement, la fenêtre de contexte d’un modèle, c’est-à-dire la quantité d’informations qu’il peut prendre en compte à la fois, se mesure en tokens et non en mots. Deuxièmement, la plupart des services d’IA facturent au token : la longueur de votre entrée et de la réponse du modèle influe donc directement sur le coût.

Comprendre les tokens permet d’éclaircir une grande partie de la tarification et des limites de l’IA : lorsqu’un fournisseur annonce « un million de tokens » ou facture au token, il parle en réalité d’environ autant de fragments de texte qui entrent dans le système et en sortent.