Token

Un token es la unidad básica de texto con la que trabaja un gran modelo lingüístico. En vez de leer palabras o letras enteras, divide el texto en fragmentos de unas tres cuartas partes de palabra de media. Una palabra común puede ser un token; otra larga o inusual se divide en varios.

Importan por dos razones. La ventana de contexto se mide en tokens, no palabras. Además, la mayoría de servicios cobra por token, así que la longitud de la entrada y la salida afecta directamente al coste.

Comprenderlos aclara precios y límites: cuando un proveedor anuncia «un millón de tokens» o factura por token, habla aproximadamente de esa cantidad de fragmentos que entran y salen.