N-grammo
Una sequenza di N parole o token consecutivi, il modo più semplice per catturare quali parti di testo tendono a susseguirsi.
Un n-grammo è solo una breve sequenza: “New York” è un 2 grammi, “New York City” un 3 grammi. Prima delle reti neurali, i modelli linguistici venivano costruiti quasi interamente contando questi elementi, chiedendosi quale parola seguisse più spesso una determinata coppia. È rozzo, ma cattura una quantità sorprendente di come il linguaggio si comporta effettivamente.
L’idea non è mai scomparsa del tutto. I modelli moderni a volte fissano un componente di n-grammi alla parte neurale come memoria economica per frasi frequenti, motivo per cui una scheda modello 2026 può citare sia un conteggio di parametri che un blocco separato di incorporamenti di n-grammi.