OpenAI et Anthropic se disputent autour d’un benchmark, et le débat est plus instructif que les scores
GPT-5.6 Sol a obtenu 7,8 % sur ARC-AGI-3 avec le dispositif officiel, contre 38,3 % avec celui d’OpenAI. Cet écart montre pourquoi les résultats des benchmarks sont si difficiles à comparer.
La semaine dernière, Claude Opus 5 d’Anthropic a établi un record de 30,2 % sur ARC-AGI-3, un benchmark composé d’énigmes qui teste la capacité d’un modèle à découvrir des règles entièrement nouvelles. OpenAI a répondu le 30 juillet : avec deux réglages supplémentaires, GPT-5.6 Sol atteindrait 38,3 %. Dans l’environnement de test officiel, le même modèle n’avait obtenu que 7,8 %.
L’écart est bien réel. Il provient de deux fonctions de l’API Responses d’OpenAI. « Retained Reasoning » conserve le fil du raisonnement interne du modèle d’une étape à l’autre, au lieu de l’effacer. « Compaction » résume le contexte ancien plutôt que de le couper dès que la fenêtre est pleine. Privé de ces deux fonctions, comme dans le dispositif officiel, le modèle perd le fil après chaque action. ARC Prize a d’abord répondu que son environnement était volontairement standardisé pour garantir l’équité des comparaisons. Son cofondateur François Chollet a ensuite nuancé cette position : les dispositifs conçus spécialement pour exploiter le benchmark sont exclus, mais des réglages généraux accessibles à tous les clients sont recevables. Le score publié par ARC Prize aurait donc pu désavantager OpenAI, peut-être parce que le test passait par une ancienne API dépourvue de fonctions déjà présentes chez Anthropic.
Ce qui se joue
Le principe mérite d’être compris, même si vous ne consultez plus jamais un classement. Un benchmark ne mesure jamais un modèle seul. Il évalue aussi tout ce qui l’entoure : la gestion de la mémoire, la façon de réduire le contexte, le nombre d’essais accordés et la quantité de calcul autorisée. Modifier cet échafaudage peut multiplier le score par cinq, comme ici. Cela ne signifie pas que l’un des camps triche. Ils mesurent deux réalités différentes tout en parlant, l’un comme l’autre, du « score du modèle ». La solution proposée par Chollet est la plus raisonnable : accepter n’importe quel dispositif, à condition d’en publier clairement les réglages et le coût.
Ce que cela signifie pour vous : Un score isolé tient davantage de la publicité que de la mesure. Lorsqu’un laboratoire affirme dépasser un rival, demandez-vous quel dispositif a produit le résultat et combien l’essai a coûté. Pour choisir un modèle dans le cadre d’un travail réel, un petit test sur vos propres tâches sera plus utile que n’importe quel classement. Pour le reste, l’interprétation est simple : les deux modèles sont proches, et l’écart marketing qui les sépare dépasse celui de leurs capacités.
Sources
Sources: https://openai.com/index/how-two-settings-tripled-our-arc-agi-3-scores/
Du texte invisible dans un document Word peut détourner Copilot et contaminer les fichiers qu’il produit
Un chercheur a montré que des consignes cachées dans un document pouvaient pousser Microsoft 365 Copilot à modifier des chiffres puis à recopier ces consignes dans le nouveau fichier. Les mesures de Microsoft ne suffisent pas encore.
