Fähigkeiten machen KI-Agenten besser, indem sie ihnen eine Checkliste und keine Fakten geben. Und bei 100 Einträgen hören sie auf zu funktionieren

Fertigkeiten sind in aller Stille zur Standardmethode geworden, um einen KI-Agenten in etwas zu verbessern, ohne ihn umschulen zu müssen. Sie schreiben auf, wie eine Aufgabe erledigt wird, der Agent liest es vor, wenn die Aufgabe ansteht. Eine am 22. August veröffentlichte Studie der Princeton University, der UC San Diego und anderer Schulen ist die erste, die sorgfältig fragt, warum das funktioniert. Die Antwort ist nicht das, was die meisten Menschen annehmen.

Die Forscher verglichen Agenten, die identische Aufgaben mit und ohne Fähigkeit lösten, in 8.135 Testläufen. In 65,7 Prozent der Fälle, in denen der Skill half, war der Grund das, was sie prozedurales Grounding nennen: Der Skill teilte dem Agenten mit, welche Schritte er ausführen sollte, welche Werkzeuge in welcher Reihenfolge und welche Überprüfungen er unterwegs durchführen sollte. Auf die Bereitstellung fehlender Fakten entfielen lediglich 4,5 Prozent.

Im Klartext: Eine Fertigkeit funktioniert wie eine Checkliste, nicht wie eine Enzyklopädie. Es bringt dem Modell nichts bei, was es nicht wusste. Dadurch wird verhindert, dass das Modell die Reihenfolge der Vorgänge improvisiert, was dazu führen kann, dass Agenten umfallen. Die Fehler, die verschwinden, sind die langweiligen, wie zum Beispiel die falsche Einrichtung einer Arbeitsumgebung oder die Erstellung von Ausgaben im falschen Format.

Die Zwei-Wege-Fertigkeiten gehen nach hinten los

Fähigkeiten führen auch zu eigenen Fehlern. In 10 Prozent der Fälle wandte der Agent ein ansonsten sinnvolles Spielbuch mechanisch an, wenn es nicht passte. Interessanterweise ist eine exakte Übereinstimmung weder erforderlich noch ausreichend. Eine lose verwandte Fertigkeit gibt oft genug Orientierung, während eine perfekt aufeinander abgestimmte Fertigkeit immer noch zu wörtlich befolgt werden kann.

Das größere Problem besteht darin, überhaupt die richtige Fähigkeit zu finden. Als die Bibliothek von 5 auf 100 Einträge anwuchs, sank die Abrufgenauigkeit bei der tatsächlichen Nutzung von 29,6 Prozent auf 3,3 Prozent. Optionen, die einander ähnlich klingen, machen die Wahl nicht einfacher, sondern schwieriger. Je mehr Fertigkeiten Sie also aufschreiben, desto weniger zuverlässig wählt Ihr Agent die richtige aus, was für jeden, der damit beschäftigt ist, eine große Bibliothek aufzubauen, eine unangenehme Feststellung ist.

Die Autoren argumentieren, dass Fähigkeiten als Lebenszyklus und nicht als Haufen behandelt werden sollten. Bessere Agenten, die sich selbst verbessern, werden durch zuverlässigere Methoden zum Erstellen, Abrufen und Anwenden von Fertigkeiten erreicht, nicht durch die Speicherung weiterer Fertigkeiten. Es lohnt sich, die Erwartungen auf dem Boden zu halten: Es handelt sich um kontrollierte Experimente zu Benchmark-Aufgaben, und die Abrufzahlen hängen von der Methode ab, mit der die Bibliothek durchsucht wird.

Was das für Sie bedeutet: Wenn Sie noch nie eine Fertigkeit geschrieben haben, ist die Erkenntnis ermutigend. Sie müssen kein Experte auf diesem Gebiet sein, um einem Makler zu helfen. Am wertvollsten ist es, die Schritte, die Sie unternehmen würden, der Reihe nach aufzuschreiben. Wenn Sie bereits über eine Reihe von Fähigkeiten verfügen, ist die Warnung konkret: Halten Sie die Bibliothek klein und die Beschreibungen klar voneinander abgegrenzt. Zehn scharf formulierte Einträge schlagen sechzig sich überschneidende Einträge, und die Studie nennt nun Zahlen zum Grund.

Quellen

• [Verstehen von Agentenfähigkeiten: Verfahrensbedingte Grund- und Abrufgrenzen] (https://arxiv.org/abs/2608.14036), arXiv-Vorabdruck 2608.14036
• Studie erklärt, warum KI-Agenten von „Fähigkeiten“ profitieren und wann sie versagen, The Decoder