Compattazione del contesto
Riepilogo automatico del lavoro precedente di un agente IA in modo che possa andare oltre il limite di ciò che può tenere a mente contemporaneamente.
Ogni modello ha una finestra di contesto, ovvero la quantità di testo che può tenere a mente contemporaneamente. Un agente che lavora su un lungo lavoro alla fine lo riempirà e il risultato ingenuo è che la sessione semplicemente finisce. La compattazione è la soluzione: il sistema condensa tutto ciò che è stato fatto finora in un riassunto più breve, elimina i dettagli grezzi e continua con il riassunto al posto dell’originale.
Questo è il motivo per cui le sessioni dell’agente possono durare ore o giorni anziché minuti. È anche dove si concentra gran parte del costo degli agenti, poiché paghi per il contesto che porti e una buona tecnica di compattazione riduce il conto oltre ad estendere la sessione. Il mestiere è ciò che si perde nel riassunto: comprimi in modo troppo aggressivo e l’agente dimentica un dettaglio di cui aveva bisogno, motivo per cui questa è un’area di ricerca attiva piuttosto che un problema risolto.