Kontextkomprimierung
Die frühere Arbeit eines KI-Agenten wird automatisch zusammengefasst, sodass er weiterhin über die Grenze dessen hinausgehen kann, was er gleichzeitig im Kopf behalten kann.
Jedes Modell verfügt über ein Kontextfenster, das die Menge an Text angibt, die es gleichzeitig speichern kann. Ein Agent, der an einem längeren Auftrag arbeitet, wird ihn irgendwann ausfüllen, und das naive Ergebnis ist, dass die Sitzung einfach endet. Komprimierung ist die Lösung: Das System fasst alles Bisherige in einer kürzeren Zusammenfassung zusammen, wirft die rohen Details weg und fährt mit der Zusammenfassung anstelle des Originals fort.
Aus diesem Grund können Agentensitzungen Stunden oder Tage statt nur Minuten dauern. Hierin liegt auch ein Großteil der Agentenkosten, da Sie für den von Ihnen übertragenen Kontext zahlen und eine gute Komprimierungstechnik nicht nur die Kosten senkt, sondern auch die Sitzung verlängert. Der Handel geht in der Zusammenfassung verloren: Wenn man zu aggressiv komprimiert, vergisst der Agent ein Detail, das er brauchte, weshalb es sich hierbei eher um ein aktives Forschungsgebiet als um ein gelöstes Problem handelt.