Warum KI-Fähigkeiten tatsächlich helfen und warum 100 davon schlechter sind als 5
Eine Studie mit 8.135 Testläufen kommt zu dem Ergebnis, dass Kompetenzen durch die Bereitstellung eines zuverlässigen Prozesses für Agenten und nicht durch die Hinzufügung von Wissen erreicht werden. Erweitern Sie die Bibliothek von 5 auf 100 und der Agent findet nicht mehr die richtige.
Fertigkeiten sind in aller Stille zur Standardmethode geworden, um einen KI-Agenten in etwas zu verbessern, ohne ihn umschulen zu müssen. Bei einer Fertigkeit handelt es sich lediglich um eine Reihe schriftlicher Anweisungen: Hier sind die Schritte für diese Aufgabe, hier ist, was überprüft werden muss, hier sind die Fehler, die Menschen normalerweise machen. Der Agent liest es vor dem Start. Mittlerweile unterstützt jedes große Agentenprodukt eine Version davon, und bisher lag der Beweis einfach darin, dass Agenten mit Fähigkeiten mehr Aufgaben erledigten. Niemand hatte gezeigt, warum.
Ein Team aus Princeton, der UC San Diego und anderen Institutionen führte das Experiment durch. Sie verglichen Agenten mit und ohne Fertigkeit bei identischen Aufgaben in 8.135 Versuchsaufzeichnungen und kodierten dann von Hand, was sich in den Transkripten tatsächlich unterschied.
Der Befund ist sauberer als erwartet. Fähigkeiten helfen vor allem, indem sie dem Agenten ein zuverlässiges Verfahren zur Verfügung stellen, an dem er sich orientieren kann. Dies war in 65,7 Prozent der Fälle der Fall, in denen der erfahrene Agent besser abschnitt. Die Versorgung des Agenten mit Fakten, die er nicht kannte, erklärte nur 4,5 Prozent. Mit anderen Worten: Eine Fertigkeit ist eine Checkliste, keine Enzyklopädie. Es legt fest, welche Setup-Schritte ausgeführt werden müssen, welche Tools in welcher Reihenfolge und was auf dem Weg überprüft werden muss, und das beseitigt eine ganze Reihe schlampiger Ausführungsfehler. Im Vergleich zu Workflow Memory, einem früheren Ansatz, schnitten die Fertigkeiten in übereinstimmenden Vergleichen um 6,06 Punkte besser ab.
Fähigkeiten führen auch zu eigenen Fehlern. In etwa jedem zehnten Fall wandte der Agent ein vollkommen gutes Spielbuch mechanisch an, in einer Situation, in der es nicht passte. Und das Abrufproblem ist eklatant: Erweitert man die Bibliothek von 5 auf 100 Fertigkeiten, sinkt die Präzision, mit der der Agent die richtige auswählt, von 29,6 Prozent auf 3,3 Prozent. Fähigkeiten, die ähnlich klingen, erschweren die Auswahl.
Was hier eigentlich vor sich geht: In den Zahlen steckt eine tröstliche Konsequenz. Die Forscher fanden heraus, dass das Aufrufen der genau richtigen Fertigkeit weder ausreichend noch notwendig ist, da eine verwandte Fertigkeit oft allein schon genug Struktur liefert und der nachgelagerte Erfolg auch dann anhielt, wenn die Offline-Identifizierung schlecht aussah. Das Bild lautet also nicht „Der Agent ist verloren“, sondern „Der Agent ist sich nicht sicher, welches Playbook er erbeutet hat, und oft ist das in Ordnung.“ Ihre Empfehlung besteht darin, Fähigkeiten als ein Lebenszyklusproblem zu behandeln, bei dem das Erstellen, Abrufen und Anwenden jeweils Arbeit erfordert, anstatt davon auszugehen, dass das Speichern von mehr Erfahrungen einen Agenten intelligenter macht.
Was das für Sie bedeutet: Wenn Sie Fähigkeiten oder benutzerdefinierte Anweisungen für ein KI-Tool schreiben, ist dies das nützlichste praktische Ergebnis des Monats. Schreibprozedur, nicht Hintergrund. Das Modell weiß bereits, was eine Tabellenkalkulation ist; Was es von Ihnen benötigt, ist die Reihenfolge der Operationen und der Kontrollen. Und widerstehen Sie dem Drang, eine riesige Bibliothek zu bauen. Ein kleiner Satz deutlich unterschiedlicher Fertigkeiten übertrifft einen weitläufigen Satz, bei dem die Hälfte der Einträge gleich klingt, weil der Agent sie ab einem bestimmten Punkt einfach nicht mehr unterscheiden kann. Wenn Sie Agententools verwenden, ohne selbst etwas zu schreiben, ist die Schlussfolgerung milder: Die Fähigkeiten sind real, die Gewinne sind bescheiden und spezifisch, und das Archivierungsproblem hat noch niemand gelöst.
Quellen
Quellen: https://arxiv.org/abs/2608.14036
Anthropic möchte, dass KI-Agenten Laborgeräte betreiben, und hat einen Standard dafür
Der Model Hardware Standard ist eine gemeinsame Sprache zwischen KI-Agenten und physischen Maschinen. Erste Tester sagen, dass der Anschluss von sechs Laborgeräten weniger als eine Woche statt Monate gedauert hat.
