Un lauréat du prix Turing parie contre l’apprentissage profond avec sa nouvelle entreprise, Oak Lab
Richard Sutton, cofondateur de l’apprentissage par renforcement moderne, a lancé Oak Lab à Toronto. Son objectif : des agents d’IA qui apprennent continuellement par l’expérience, car il juge les méthodes actuelles « faibles et inefficaces ».
Richard Sutton, lauréat du prix Turing 2024, l’équivalent du prix Nobel en informatique, a fondé avec le chercheur Khurram Javed une nouvelle entreprise d’IA baptisée Oak Lab, à Toronto. Tous deux travaillaient auparavant chez Keen Technologies, l’entreprise d’IA dirigée par le programmeur légendaire John Carmack.
Sutton est l’un des pères fondateurs de l’apprentissage par renforcement, la branche de l’IA où les systèmes apprennent par essais et erreurs en recevant des récompenses pour les bonnes décisions, la technique qui se cache derrière AlphaGo et contribue aujourd’hui à la finition des agents conversationnels. Son opinion a donc du poids lorsqu’il affirme que les méthodes actuelles d’apprentissage profond sont « faibles et inefficaces » et qu’elles ont besoin « non pas de nouveaux ajustements, mais d’idées fondamentalement nouvelles ». Son argument, répété au cours de l’année écoulée, est le suivant : les modèles de langage actuels imitent brillamment les textes humains, mais ils ne peuvent pas véritablement évaluer leurs propres résultats ni découvrir des éléments réellement nouveaux. L’objectif affiché d’Oak Lab est de créer un agent qui apprend continuellement de son environnement pendant son fonctionnement, plutôt que d’être entraîné une fois sur un immense jeu de données statique, puis figé. L’ambition à long terme semble presque relever de la science-fiction : un agent doté de « mille milliards de paramètres, capable d’apprendre et de planifier en temps réel avec une consommation de 20 watts ». Pour situer ce chiffre, le cerveau humain fonctionne avec environ 20 watts.
Que se joue-t-il derrière cette création d’entreprise ? L’annonce masque une véritable division scientifique. Les grands laboratoires, OpenAI, Anthropic, Google, parient que continuer à accroître la taille des modèles actuels restera efficace, et leurs résultats leur donnent jusqu’ici raison. Un groupe restreint mais distingué de chercheurs, dont Sutton et Yann LeCun, ancien scientifique en chef de Meta, qui est parti fonder sa propre entreprise autour d’une autre approche, estime que cette voie finira par plafonner et que l’apprentissage par l’expérience est l’élément manquant. Un point à connaître : Sutton est également célèbre pour « The Bitter Lesson », un essai très cité qui affirme que les méthodes générales associées à davantage de puissance de calcul finissent toujours par l’emporter. Il n’est pas opposé au changement d’échelle ; il pense que nous augmentons la taille du mauvais type d’apprenant.
Ce que cela signifie pour vous : rien ne change dans votre utilisation quotidienne de l’IA : Oak Lab ne propose aucun produit et ses premiers résultats sont probablement encore à plusieurs années. Mais c’est un utile rappel à la réalité face au récit selon lequel les progrès de l’IA suivraient une trajectoire établie et à sens unique. Certains des chercheurs les plus récompensés du domaine estiment que la recette actuelle a ses limites. Savoir s’ils ont raison constitue l’une des questions ouvertes les plus intéressantes de l’IA, et l’origine du prochain grand bond pourrait dépendre de la réponse.
Sources
Sources: https://oaklab.ai/
Soofi S : l’Allemagne possède désormais un modèle d’IA ouvert en tête des classements open source
Un consortium de recherche allemand a lancé Soofi S 30B, un modèle ouvert entièrement entraîné à Munich sur le cloud de Deutsche Telekom. Il devance tous ses concurrents entièrement ouverts sur les bancs d’essai en allemand et en anglais, et montre à quoi peut ressembler concrètement une « IA souveraine ».
