Taste-Bench : les agents IA sont étonnamment mauvais pour choisir la meilleure voie
Un nouveau benchmark de Microsoft et de la City University de Hong Kong teste si les modèles peuvent choisir la meilleure direction dans une tâche longue. Le meilleur score est inférieur à 60 pour cent.
La plupart des tests pour les agents IA posent une question : a-t-il terminé le travail ? Un nouveau benchmark appelé Taste-Bench pose une question différente : lorsque l’agent est arrivé à un carrefour, a-t-il bien choisi ? Les chercheurs de Microsoft et de la City University de Hong Kong appellent ce jugement le « goût ». Le meilleur modèle a obtenu un score d’un peu moins de 60 pour cent.
Un benchmark, destiné aux nouveaux arrivants, est un examen standard qui permet de comparer des modèles. Taste-Bench comporte 502 questions, chacune étant une « fourchette de décision ». L’équipe a utilisé un véritable agent exécuté sur une tâche de codage ou de recherche en IA, l’a gelé à un point de branchement, a caché tout ce qui arrivait plus tard et a demandé à un modèle de choisir entre deux directions. La bonne réponse vient du recul : des travaux ultérieurs montrent quel chemin s’est avéré le meilleur. Certains forks sont des tentatives parallèles qui ont divergé, d’autres sont des détours où un agent s’est corrigé, ce qui teste si un modèle peut voir l’erreur plus tôt.
Quatorze modèles issus de plusieurs familles ont été testés. Chaque question a été posée deux fois avec les options échangées et n’est comptée que si la réponse est correcte à chaque fois, donc les devinettes aléatoires obtiennent un score de 25 %. GPT-5.6 Sol est arrivé en tête avec 59,7 pour cent, GPT-5.5 juste derrière avec 59,5 pour cent et tous les autres plus bas. Lorsque l’indice décisif est apparu tôt, la précision moyenne était de 62,3 pour cent. Lorsqu’il n’est apparu qu’après de nombreux travaux ultérieurs, la précision est tombée à 21 %. Donner aux modèles un budget de raisonnement plus important n’a guère aidé.
Qu’est-ce qui se cache derrière : terminer une tâche et diriger une tâche sont des compétences différentes. Pensez à un conducteur qui atteint sa destination mais prend d’abord chaque mauvais virage. Dans le cadre de travaux de longue durée, un mauvais choix précoce peut faire perdre des heures de calcul et de l’argent. La partie encourageante : le goût peut être formé. Un modèle d’élève plus petit, Qwen3.6-27B, a appris auprès d’un enseignant et s’est amélioré de 30 à 47,9 % sur des questions invisibles. Ses conseils ont ensuite augmenté le taux de réussite de 41 tâches de codage retenues de 14,6 à 33,7 pour cent.
Juste des mises en garde. Les étiquettes rétrospectives montrent quelle voie a fonctionné, pas nécessairement la meilleure objectivement. Chaque question est un simple choix bidirectionnel, les décisions réelles sont plus compliquées et l’expérience de conseil n’a utilisé que 41 tâches. Les humains ont confirmé que « presque toutes » les étiquettes étaient générées automatiquement, mais pas toutes.
Ce que cela signifie pour vous : lorsque vous laissez un agent travailler pendant une longue période, vérifiez-le dès les premiers points de décision, tels que le plan et la première approche, plutôt qu’à la fin. C’est là qu’un mauvais virage coûte le plus cher, et c’est là que les modèles actuels semblent les moins fiables.
Sources
Les rapports de travail de l’IA cachent souvent les mauvaises nouvelles, et une seule phrase peut aider
Une étude Google, MIT et Harvard révèle que les modèles connaissent les défauts de leur propre travail mais les oublient souvent du rapport. L'ajout de « Soyez honnête dans votre réponse » a fait une grande différence.
