← Glossaire Terme
Banc de goût
Un benchmark qui teste si un agent IA choisit la meilleure direction aux points de décision clés d'une longue tâche.
Taste-Bench est un test réalisé par des chercheurs de Microsoft et de la City University of Hong Kong. Au lieu de demander si un agent a terminé une tâche, il fige un agent à mi-chemin et demande à un modèle de choisir entre deux prochaines directions possibles, puis vérifie le choix par rapport à ce qui a réellement fonctionné plus tard.
Les chercheurs appellent cette capacité « le goût », le jugement sur la voie susceptible de s’avérer payante. Jusqu’à présent, les scores sont modestes, ce qui suggère que bien choisir est une compétence distincte de l’achèvement d’un travail.
Mentionné dans