Rich Sutton, pionnier de l'apprentissage par renforcement, qualifie les données synthétiques de grosse erreur
Sutton soutient qu’un monde d’une complexité infinie ne peut pas être appris à partir des données qu’un modèle génère lui-même. Il s'agit d'un défi direct à l'un des raccourcis préférés de l'industrie.
Rich Sutton, l’une des figures fondatrices de l’apprentissage par renforcement et co-auteur du manuel standard dans ce domaine, a qualifié les données synthétiques de « grosse erreur » compte tenu de la complexité du monde réel. Cette remarque, rapportée le 20 août, porte directement sur une pratique qui est discrètement devenue la norme dans l’ensemble du secteur.
Les données synthétiques sont exactement ce à quoi elles ressemblent : du matériel de formation qu’un modèle génère lui-même, ou qu’un autre modèle génère pour lui, au lieu de textes et d’images collectés dans le monde entier. Les laboratoires s’y appuient énormément, car les données réelles sont limitées, coûteuses, lourdes sur le plan juridique et de plus en plus épurées. L’objection de Sutton est liée à une idée qu’il défend depuis des années, l’hypothèse du grand monde : tout système d’apprentissage est toujours bien plus petit que l’environnement dans lequel il évolue, de sorte qu’il ne peut jamais contenir un modèle complet de ce monde. Si cela est vrai, alors un système générant son propre matériel de formation puise dans la partie du monde qu’il a déjà capturée, qui est par définition la petite partie. Vous obtenez davantage de ce que le modèle sait déjà, pas plus de ce qu’il ne connaît pas.
Il ne s’agit pas d’une position marginale, mais elle est contestée et s’inscrit dans un débat plus large qui s’est intensifié ces dernières semaines. Les mathématiciens Timothy Gowers et Peter Sarnak ont déclaré séparément que les modèles de langage combinent bien les méthodes connues mais peinent à inventer de véritables fondations nouvelles. Un article de DeepMind a fait valoir le même goulot d’étranglement dans une direction différente. Le contre-cas est simple et repose sur des preuves : les données synthétiques fonctionnent manifestement pour enseigner des compétences spécifiques, en particulier les étapes de raisonnement et le code, où une réponse correcte peut être vérifiée automatiquement. Ce que Sutton se demande, ce n’est pas si cela aide en matière de références, mais si cela peut un jour produire quelque chose de véritablement nouveau, et ce sont des affirmations différentes qui sont souvent argumentées comme s’il s’agissait d’une seule et même affirmation.
Ce que cela signifie pour vous : rien de pratique, et tout sur la façon dont vous lisez la prochaine série d’annonces. Lorsqu’un laboratoire signale un bond par rapport à un benchmark, il est utile de savoir si le gain provient de nouvelles informations sur le monde ou d’un modèle s’exerçant contre lui-même. Les deux constituent de réelles améliorations, mais une seule d’entre elles vous indique que le système sait désormais quelque chose qu’il ne savait pas auparavant. Si vous utilisez ces outils quotidiennement, l’argument de Sutton explique également une frustration familière : les modèles sont excellents pour recombiner ce qui existe et sensiblement plus faibles dès que vous avez besoin de quelque chose sans précédent.
##Sources
-Sutton qualifie les données synthétiques de grosse erreur face à un monde infiniment complexe, The Decoder -Les meilleurs mathématiciens disent que les LLM sont de bons calculateurs mais de mauvais penseurs créatifs, The Decoder
L'IA pourrait écrire comme un humain. La formation à la sécurité est ce qui le révèle
Le directeur technique de Pangram soutient que les modèles linguistiques sont détectables non pas parce qu'ils manquent de capacités, mais parce que la post-formation restreint la façon dont ils s'expriment. L’effet a un nom : mode repli.
