N-gramo
Una serie de N palabras o tokens consecutivos, la forma más sencilla de capturar qué fragmentos de texto tienden a sucederse.
Un n-grama es sólo una secuencia corta: “Nueva York” es un 2 gramos, “Nueva York” un 3 gramos. Antes de las redes neuronales, los modelos de lenguaje se construían casi en su totalidad contándolos y preguntando qué palabra sigue con mayor frecuencia a un par determinado. Es tosco, pero capta una cantidad sorprendente de cómo se comporta realmente el lenguaje.
La idea nunca desapareció del todo. Los modelos modernos a veces incorporan un componente de n-gramas a la parte neuronal como una memoria barata para frases frecuentes, razón por la cual una tarjeta modelo 2026 puede citar tanto un recuento de parámetros como un bloque separado de incrustaciones de n-gramas.