Token

Ein Token ist die grundlegende Texteinheit, mit der ein großes Sprachmodell arbeitet. Statt ganze Wörter oder einzelne Buchstaben zu lesen, zerlegt ein Modell Text in Tokens, Stücke, die im Durchschnitt ungefähr drei Vierteln eines Wortes entsprechen. Häufige Wörter können ein einzelnes Token sein, längere oder ungewöhnliche Wörter werden in mehrere zerlegt.

Tokens sind aus zwei praktischen Gründen wichtig. Erstens wird das Kontextfenster eines Modells, wie viel es auf einmal berücksichtigen kann, in Tokens und nicht in Wörtern gemessen. Zweitens rechnen die meisten KI-Dienste pro Token ab. Die Länge deiner Eingabe und der Ausgabe des Modells beeinflusst damit unmittelbar die Kosten.

Wer Tokens versteht, durchschaut viele Preisangaben und Grenzen leichter: Wenn ein Anbieter „eine Million Tokens“ nennt oder pro Token abrechnet, spricht er ungefähr von dieser Anzahl ein- und ausgehender Textstücke.