Finestra di contesto

Una finestra di contesto è la quantità di testo che un modello linguistico può prendere in considerazione in un dato momento: tutto ciò che contiene il prompt, più tutto ciò che il modello ha prodotto fino a quel punto. Si misura in token, frammenti di testo pari all’incirca a tre quarti di parola ciascuno.

Una finestra di contesto più ampia permette al modello di lavorare con interi documenti, lunghe trascrizioni o basi di codice complete in un unico prompt. Ma le dimensioni non equivalgono a una memoria perfetta: i modelli possono comunque trascurare informazioni nascoste nel mezzo di un input molto lungo. Una finestra ampia estende quindi ciò che si può tentare, senza garantire ciò di cui ci si può fidare.