N-Gramm
Eine Folge von N aufeinanderfolgenden Wörtern oder Token. Dies ist die einfachste Methode, um zu erfassen, welche Textteile dazu neigen, aufeinander zu folgen.
Ein N-Gramm ist nur eine kurze Sequenz: „New York“ ist ein 2-Gramm, „New York City“ ein 3-Gramm. Vor neuronalen Netzen wurden Sprachmodelle fast ausschließlich durch deren Zählung erstellt, wobei gefragt wurde, welches Wort einem bestimmten Paar am häufigsten folgt. Es ist grob, aber es erfasst überraschend viel davon, wie sich Sprache tatsächlich verhält.
Die Idee verschwand nie ganz. Moderne Modelle binden manchmal eine N-Gramm-Komponente an den neuronalen Teil an, als billigen Speicher für häufige Phrasen, weshalb eine Modellkarte 2026 sowohl eine Parameteranzahl als auch einen separaten Block von N-Gramm-Einbettungen angeben kann.