N-gramme
Une série de N mots ou jetons consécutifs, le moyen le plus simple de capturer quels morceaux de texte ont tendance à se suivre.
Un n-gramme n’est qu’une courte séquence : « New York » est un 2 grammes, « New York City » un 3 grammes. Avant les réseaux de neurones, les modèles de langage étaient construits presque entièrement en les comptant, en se demandant quel mot suivait le plus souvent une paire donnée. C’est brut, mais il rend compte d’une quantité surprenante de la façon dont le langage se comporte réellement.
L’idée n’a jamais complètement disparu. Les modèles modernes installent parfois un composant n-gramme sur la partie neuronale comme mémoire bon marché pour les phrases fréquentes, c’est pourquoi une carte modèle 2026 peut citer à la fois un nombre de paramètres et un bloc séparé d’intégrations n-gramme.