Réponse de Meta au temps GPU perdu : demandez à un modèle quelle expérience exécuter
Des chercheurs de Meta FAIR, d'Oxford et de l'UCL ont introduit des modèles de préférences de recherche en IA, qui classent les expériences d'apprentissage automatique non exécutées les unes par rapport aux autres plutôt que de prédire les scores, afin de décider où dépenser le calcul.
Un article du laboratoire FAIR de Meta, en collaboration avec l’Université d’Oxford et l’University College London, s’attaque à un problème qui semble banal et coûte une fortune : les agents de recherche en IA peuvent proposer bien plus d’expériences que quiconque ne peut se permettre d’en réaliser. Trouver un candidat prend quelques secondes. En fait, entraîner le modèle pour savoir s’il fonctionne peut prendre des heures ou des jours de temps GPU. Le goulot d’étranglement ne vient donc pas des idées, mais du choix.
Leur proposition s’appelle un modèle de préférence de recherche en IA, ou RPM, et le plus intelligent réside dans ce qu’elle refuse de faire. Il ne permet pas de prédire les résultats d’une expérience, car l’équipe a constaté que les modèles de langage ne sont pas fiables pour prévoir les chiffres absolus ou les résultats de l’exécution. Au lieu de cela, il traite le problème comme un classement : étant donné un ensemble d’expériences candidates qui n’ont pas encore été réalisées, mettez-les dans l’ordre et choisissez la première. Comparer deux options est une question beaucoup plus simple que d’estimer la valeur de l’une ou l’autre, et c’est une astuce qui apparaît partout dans l’apprentissage automatique. L’équipe a construit deux versions à partir de modèles linguistiques pré-entraînés gelés, c’est-à-dire des modèles utilisés tels quels sans formation supplémentaire. On raisonne uniquement sur les plans candidats, le code et les résultats des expériences déjà réalisées. L’autre mène en outre des expériences pilotes à petite échelle avant le classement, dépensant un peu de calcul pour économiser beaucoup.
Pourquoi cela est plus important qu’il n’y paraît. Presque toutes les histoires sur l’automatisation de la recherche en IA concernent des agents qui génèrent et exécutent. Très peu de choses concernent les agents qui déclinent. À mesure que les laboratoires dirigent des systèmes plus autonomes vers leurs propres recherches, la contrainte cesse d’être le nombre d’idées que le système peut avoir et devient la qualité de son goût, et le goût est exactement ce que personne n’a su mesurer. Le présenter comme un classement de préférences en fait quelque chose que vous pouvez former et évaluer. Cela est également directement lié aux chiffres publiés par OpenAI cette semaine sur le temps d’exécution des agents dépassant de trois fois le travail humain : le temps d’exécution ne vaut que si les expériences en valent la peine, et un laboratoire brûlant trois jours d’agent par jour humain a un intérêt évident à ne pas les gaspiller.
Ce que cela signifie pour vous. Pour la plupart des lecteurs, il s’agit d’un contexte plutôt que d’un élément sur lequel agir, et c’est bien de le classer de cette façon. Mais l’idée sous-jacente va bien au-delà des clusters GPU. Si vous avez déjà demandé à un modèle de noter vos options sur dix et obtenu un ensemble de huit étrangement plat, vous avez rencontré le même échec que les chercheurs. Lui demander de classer ou de comparer deux choses à la fois a tendance à produire des réponses que vous pouvez réellement utiliser. Il s’agit d’une amélioration gratuite de la façon dont vous incitez, et cela vient de la même observation que le document.
Sources
Sources: https://arxiv.org/abs/2608.13940
OpenAI déclare que ses agents de codage fonctionnent désormais trois jours pour chaque journée humaine
OpenAI a publié des chiffres internes montrant que son organisme de recherche utilise 3,1 jours de travail d'agent de codage pour chaque journée de travail humaine, et affirme avoir atteint son objectif d'un stagiaire de recherche automatisé d'ici septembre.
