Référence pour la reconstruction
Un test de 2026 qui donne à un modèle uniquement la liste de références d'un article et lui demande de récupérer l'idée principale du journal, les modèles frontières obtenant des notes de 3 à 15 pour cent.
Reconstruction, publié sur arXiv en août 2026 par une équipe dirigée par Shaolong Chen et Yanlin Fei, teste si un modèle de langage peut faire la chose spécifique qui définit la découverte scientifique : former une hypothèse véritablement nouvelle à partir de travaux antérieurs. L’entrée est volontairement mince. Le modèle obtient la liste des articles cités par un document de recherche avant sa publication, et rien d’autre. Pas de texte intégral, pas de noms d’auteurs, aucun indice postérieur à la publication.
Sur 643 articles dans six domaines, sept modèles frontières ont récupéré l’idée centrale entre 3 et 15 pour cent du temps. L’étroitesse de l’écart compte autant que les faibles chiffres, car si la tâche était résolue par le raisonnement, on s’attendrait à ce que des modèles plus solides progressent clairement. Un pipeline multi-agents dans lequel plusieurs modèles proposaient des idées, se critiquent mutuellement et éliminent les plus faibles via un tournoi a atteint 23 à 42 %, ce qui suggère que la forme utile pour la découverte assistée par l’IA est une structure ressemblant à un examen par les pairs plutôt qu’à un très grand modèle. Le document est une prépublication et n’a pas été évalué par des pairs.