METR propose une nouvelle façon de demander si un agent d’IA coûte vraiment moins cher qu’un humain
Le laboratoire d’évaluation propose l’horizon de dépense : le budget à partir duquel un humain devient plus rentable qu’un agent d’IA sur la même tâche d’optimisation. Lors d’un premier test, le croisement se situait entre zéro et 3 000 dollars.
La plupart des benchmarks d’IA répondent par oui ou non : le modèle a-t-il résolu la tâche ? METR, laboratoire à but non lucratif qui évalue les modèles de pointe pour les grands acteurs, propose une mesure répondant à une question plus utile : à partir de quel budget un humain devient-il le meilleur achat ? Il l’appelle l’horizon de dépense, défini comme le montant auquel l’amélioration apportée par un agent égale celle qu’un humain fournirait pour la même somme.
Le cas testé est le speedrun NanoGPT, concours communautaire de longue date visant à entraîner un petit modèle le plus vite possible. C’est un bon terrain, car les humains l’ont déjà fortement optimisé. METR a d’abord mesuré le coût du progrès humain : à la marge, chaque point supplémentaire d’amélioration exige environ 2 500 dollars de travail. Le laboratoire a ensuite lancé des agents et tracé le score selon la dépense. Après plus de 10 000 dollars consacrés aux agents, il situe l’horizon entre zéro et 3 000 dollars. Autrement dit, sur ce problème précis, les agents rivalisent avec les humains pour de petits budgets ; les humains prennent l’avantage lorsque les dépenses deviennent sérieuses.
L’intérêt tient moins au résultat qu’à la forme de la mesure. Les benchmarks existants rapportent souvent réussite ou échec face à un humain ayant travaillé huit ou quarante heures, perdant beaucoup d’informations et exigeant de nombreux essais pour distinguer deux modèles. Une courbe continue score-dollars est statistiquement plus précise, intègre le coût du calcul consommé pendant les expériences et peut viser des problèmes déjà épuisés par les humains plutôt que des exercices scolaires. METR précise ses limites : un seul problème, des exécutions préliminaires et une estimation approximative du coût humain. Personne ne devrait transformer un unique horizon en verdict sur la capacité de recherche de l’IA.
Ce que cela signifie pour vous : Si vous êtes curieux de l’IA mais lassé de scores dénués de sens, cette mesure est compréhensible parce qu’elle s’exprime en argent plutôt qu’en points. Si vous employez déjà des agents, la leçon pratique est celle de la courbe : ils offrent souvent une excellente valeur au début, puis deviennent moins rentables lorsque le problème s’approfondit et coûte cher. Budgéter en conséquence est plus utile que supposer qu’un agent est uniformément moins cher. Attendez-vous à voir les laboratoires publier des courbes plutôt que des scores uniques : une fois le coût mesuré aussi clairement, revenir en arrière devient difficile.
Sources
Sources: https://metr.org/blog/2026-07-21-expenditure-horizon/
Nvidia pourrait garantir 250 milliards de dollars pour qu’OpenAI loue un centre de données
Selon le Wall Street Journal, Nvidia discute d’une garantie d’environ 250 milliards de dollars pour un campus de 10 gigawatts dans l’Ohio qu’OpenAI louerait. Qu’un vendeur de puces garantisse le loyer de son client est inhabituel et révèle qui porte le risque de ce boom.
