Token

Un token è l’unità di testo fondamentale con cui lavora un grande modello linguistico. Invece di leggere parole intere o lettere, i modelli suddividono il testo in token, frammenti che in media corrispondono a circa tre quarti di parola. Una parola comune può essere un singolo token, mentre quelle lunghe o insolite vengono divise in più parti.

I token contano per due ragioni pratiche. Primo, la finestra di contesto di un modello, cioè quanto può considerare contemporaneamente, si misura in token e non in parole. Secondo, la maggior parte dei servizi IA fattura per token, quindi la lunghezza dell’input e dell’output incide direttamente sul costo.

Comprendere i token chiarisce molti prezzi e limiti dell’IA: quando un fornitore indica «un milione di token» o fattura per token, parla in realtà di circa altrettanti frammenti di testo in entrata e in uscita.