Googles Harness²: Ein Agent, der seinen eigenen Werkzeugkasten anstelle seines Gehirns verbessert
Ein Open-Source-Forschungsprojekt von Google Research ermöglicht es einem Agenten, seine eigenen Eingabeaufforderungen, Tools und Speicher für jede Aufgabe neu zu schreiben, während das Modell eingefroren bleibt. Die Gewinne sind real, aber die Sicherheitsvorgaben sind gering.
Google Research hat Harness² veröffentlicht, ein Open-Source-Projekt (Apache-2.0-Lizenz), bei dem ein KI-Agent die Einrichtung rund um das Modell und nicht das Modell selbst verbessert. Laut einem Bericht von Wavect handelt es sich um „kein offiziell unterstütztes Google-Produkt“, also behandeln Sie es als Forschungstool.
Ein paar Vokabeln. Bei der Agentenarbeit ist der „Harness“ alles rund um das Modell: die Anweisungen, die es erhält, die Tools, die es aufrufen kann, sein Speicher und seine Routinen. Zwei Agenten, die dasselbe Modell verwenden, können je nach Harness sehr unterschiedliche Leistungen erbringen. Harness² hält das Modell eingefroren und lässt das System Änderungen an diesem umgebenden Setup vorschlagen. Es werden drei Schritte ausgeführt: Propose (Änderung vorschlagen), Probe (testen) und Compose (kombinieren, was funktioniert hat). Übernommene Änderungen und die daraus gewonnenen Erkenntnisse werden in einer dauerhaften Bibliothek gespeichert, sodass die nächste Aufgabe etwas intelligenter beginnt.
Die gemeldeten Gewinne stammen von den Autoren und aus unterschiedlichen Setups und sollten daher nicht addiert werden. Auf WorkBuddy-Bench stieg GLM-5 unter OpenCode von 64,2 auf 75,7, ein Plus von 11,5 Punkten; mit Gemini 3.5 Flash betrug der Gewinn 5,1. Auf JobBench gewann Gemini 3.5 Flash 4,5 Punkte und auf LAB gewann GLM-5 11,8 Prozentpunkte. Diese sagen nicht voraus, was Sie auf Ihrer eigenen Arbeit sehen würden.
Was dahintersteckt: Die Umschulung eines Modells ist teuer und langsam. Die Bearbeitung der Anleitungen und Werkzeuge ist kostengünstig und schnell und bringt oft große Vorteile mit sich. Der Preis ist höher: Die Untersuchung von Änderungen vervielfacht die Anzahl der Läufe, daher empfiehlt Wavect, die Kosten pro akzeptiertem Ergebnis, einschließlich Fehlern, und nicht pro Lauf zu messen.
Am wichtigsten sind die Sicherheitshinweise. Standardmäßig verfügt der Executor über uneingeschränkten Netzwerkzugriff und Codex Sandbox ist deaktiviert. In einem Validierungslauf lud ein Rollout eine Bewertungsrubrik herunter, ohne dazu aufgefordert zu werden. Eine bearbeitbare Guardrail-Datei stellt keine Sicherheitsgrenze dar, daher müssen alle Beschränkungen außerhalb des Agenten durchgesetzt werden. Für die Einrichtung sind Linux, Python 3.12, Node.js 20 oder neuer und ein Google Cloud CLI erforderlich.
Was das für Sie bedeutet: Dies ist ein Entwicklertool, keine App. Wenn Sie neugierig sind, beginnen Sie mit der Demo ohne Zugangsdaten und legen Sie vor jeder kostenpflichtigen Ausführung ein externes Ausgabenlimit fest. Wenn Sie nur KI-Tools verwenden, ist die nützliche Idee einfach: Ein Großteil der Fähigkeiten eines Agenten steckt in seinen Anweisungen und Tools, sodass die Verbesserung dieser besser ist als das Warten auf ein größeres Modell. Verbinden Sie es nicht mit den Standardeinstellungen mit Unternehmenssystemen.
Quellen
Quellen: https://wavect.io/blog/google-harness2-setup-cost-safety/
OpenCode meldet ein Datenleck: Wenn Sie KI-Konten verknüpft haben, überprüfen Sie Ihre Schlüssel
Der Open-Source-Coding-Agent OpenCode sagt, dass ein Angriff 1,4 Prozent der Console-Benutzer getroffen habe, die sich mit externen KI-Anbietern verbunden hatten. Details sind noch spärlich, deshalb hier eine kleine Checkliste.
