Harness² de Google : un agent qui améliore sa propre boîte à outils plutôt que son cerveau

Google Research a publié Harness², un projet open source (licence Apache-2.0) dans lequel un agent IA améliore la configuration autour du modèle plutôt que le modèle lui-même. Selon un article de Wavect, il ne s’agit « pas d’un produit Google officiellement pris en charge », alors considérez-le comme un outil de recherche.

Un peu de vocabulaire. Dans le travail d’agent, le “harness” représente tout ce qui entoure le modèle : les instructions qu’il reçoit, les outils qu’il peut appeler, sa mémoire et ses routines. Deux agents utilisant le même modèle peuvent fonctionner de manière très différente selon le harness. Harness² maintient le modèle figé et permet au système de proposer des modifications à cette configuration environnante. Il comporte trois étapes : proposer (suggérer une modification), Probe (la tester) et Compose (combiner ce qui a fonctionné). Les modifications adoptées et les leçons qui les sous-tendent sont stockées dans une bibliothèque persistante, de sorte que la tâche suivante démarre un peu plus intelligemment.

Les gains rapportés proviennent des auteurs et de différentes configurations, ils ne doivent donc pas être additionnés. Sur WorkBuddy-Bench, GLM-5 sous OpenCode est passé de 64,2 à 75,7, soit un gain de 11,5 points ; avec Gemini 3.5 Flash, le gain était de 5,1. Sur JobBench, Gemini 3.5 Flash a gagné 4,5 points et sur LAB, GLM-5 a gagné 11,8 points de pourcentage. Ceux-ci ne prédisent pas ce que vous verriez sur votre propre travail.

Qu’est-ce qui se cache derrière : le recyclage d’un modèle est coûteux et lent. La modification des instructions et des outils est peu coûteuse et rapide, et offre souvent de nombreux avantages. Le prix est plus calculé : l’exploration des modifications multiplie le nombre d’exécutions, c’est pourquoi Wavect recommande de mesurer le coût par résultat accepté, y compris les échecs, et non par exécution.

Les notes de sécurité sont les plus importantes. Par défaut, l’exécuteur dispose d’un accès réseau illimité et le Codex sandbox est désactivé. Lors d’une exécution de validation, un déploiement a téléchargé une grille de notation sans y être invité. Un fichier guardrail modifiable ne constitue pas une limite de sécurité ; toute limite doit donc être appliquée en dehors de l’agent. La configuration nécessite Linux, Python 3.12, Node.js 20 ou version ultérieure et un Google Cloud CLI.

Ce que cela signifie pour vous : il s’agit d’un outil de développement, pas d’une application. Si vous êtes curieux, commencez par la démo sans identifiant et définissez une limite de dépenses externes avant toute exécution payante. Si vous utilisez uniquement des outils d’IA, l’idée utile est simple : une grande partie des compétences d’un agent réside dans ses instructions et ses outils, donc les améliorer peut être préférable à l’attente d’un modèle plus grand. Ne le connectez pas aux systèmes de l’entreprise avec les paramètres par défaut.

Sources

• Wavect : Google Harness² : configuration, benchmarks et le coût réel
• The Neuron : Tout ce qui s’est passé dans l’IA aujourd’hui, le 19 octobre