Un chercheur quitte OpenAI après huit mois, convaincu que les données comptent plus que la taille des modèles

Andrew Ho a quitté OpenAI après huit mois, et son motif est plus intéressant que son départ. Selon lui, les grands modèles de langage généralisent mal : ils transfèrent une compétence vers une nouvelle situation beaucoup moins efficacement que ne le laissent croire leurs scores vedettes. Même en programmation, le domaine qui concentre le plus de financements, leurs performances resteraient irrégulières. Ho attribue ce problème au manque de données d’entraînement adaptées et crée une entreprise pour en vendre.

Une grande partie du travail qui produit de la valeur économique n’apparaît presque pas dans les données d’apprentissage, explique Ho. « La plupart des tâches dépendent fortement de leur contexte et se prêtent mal à un environnement évaluable », écrit-il. Même en observant une personne compétente, il reste difficile de savoir si les chemins qu’elle n’a pas choisis auraient également fonctionné. Ho s’attend à voir les laboratoires d’IA consacrer plus de 100 milliards de dollars à la collecte ciblée de données au cours des prochaines années. Ses premiers produits visent la science : des jeux de données d’analyse bio-informatique, domaine où GPT-5.6 Sol ne réussirait qu’environ 30 % du temps, et d’autres consacrés aux tâches courantes de laboratoire, comme l’évaluation de photos d’expériences. La chimie, les sciences des matériaux et la santé doivent suivre. Ho se montre aussi ouvertement sceptique face aux valorisations des laboratoires de pointe, qui resteraient déficitaires parce qu’ils doivent continuellement dépenser pour devancer des concurrents moins chers comme Qwen et Kimi.

Ce qui se joue

Depuis l’extérieur des laboratoires, le chercheur de Cambridge Adam Hunt décrit la même évolution. Les modèles récents ne gagneraient pas en largeur, mais en spécialisation extrême : la programmation et les mathématiques difficiles progressent, tandis que la qualité linguistique et la logique simple stagnent ou reculent. Son explication tient au mécanisme d’entraînement. L’apprentissage par renforcement, qui a donné naissance aux modèles de raisonnement actuels, exige un signal clair indiquant le vrai et le faux. Un code se compile ou non ; une preuve mathématique est valide ou ne l’est pas. Pour l’essentiel du travail humain, aucun signal équivalent n’existe, ce qui empêche d’appliquer la même méthode. Hunt n’accorde lui-même qu’environ 40 % de confiance à son hypothèse, une franchise rare pour une prédiction publique. Tom Zahavy, chez DeepMind, défend un argument structurel voisin dans un article intitulé « LLMs can’t jump » : les modèles maîtrisent bien la déduction et l’induction, mais échouent lorsqu’ils doivent inventer une explication dont leur entraînement ne contenait aucun indice.

Ce que cela signifie pour vous : Rien ne change aujourd’hui pour la plupart des gens. Cette analyse corrige toutefois une idée répandue : les modèles ne progressent pas uniformément. Le bond spectaculaire de l’IA dans le travail de programmation d’un collègue ne dit presque rien de ses progrès dans votre propre métier. Si un outil échoue sur une tâche apparemment facile tout en réussissant quelque chose de très difficile, vous ne vous y prenez pas forcément mal. Cette irrégularité correspond à l’état actuel de la technologie et explique pourquoi un essai pratique vaut mieux que la lecture des notes de version.

Sources

• Andrew Ho sur X
• Adam Hunt sur X
• The Decoder : un ancien chercheur d’OpenAI prévoit 100 milliards de dollars pour les données d’entraînement