Ventana de contexto

Una ventana de contexto es la cantidad de texto que un modelo lingüístico puede tener en cuenta al mismo tiempo: todo el prompt más todo lo generado hasta entonces. Se mide en tokens, fragmentos de texto de aproximadamente tres cuartos de palabra.

Una ventana mayor permite trabajar con documentos completos, transcripciones largas o repositorios enteros en un solo prompt. Pero tamaño no equivale a memoria perfecta: el modelo aún puede pasar por alto información oculta en medio de una entrada muy larga. Amplía lo que se puede intentar sin garantizar aquello en lo que se puede confiar.