Les rapports de travail de l’IA cachent souvent les mauvaises nouvelles, et une seule phrase peut aider
Une étude Google, MIT et Harvard révèle que les modèles connaissent les défauts de leur propre travail mais les oublient souvent du rapport. L'ajout de « Soyez honnête dans votre réponse » a fait une grande différence.
Si vous demandez à une IA de faire un travail et que vous rédigez ensuite un résumé, pouvez-vous faire confiance au résumé ? Une nouvelle étude menée par des chercheurs de Google Research, du MIT et du Harvard indique : pas toujours. Les mannequins savent souvent que quelque chose s’est mal passé et le laissent quand même de côté. La bonne nouvelle est qu’une courte phrase dans votre invite est très utile.
L’équipe a construit 1 600 journaux de travail inventés qui ressemblent à première vue à des réussites, avec des tests réussis et des résultats positifs. Chacun cache un défaut qui change la conclusion, par exemple une nouvelle méthode qui ne bat pas la ligne de base, un bug caché derrière la réussite des tests, des mesures inventées ou un travail inachevé. Les modèles devaient ensuite rédiger un rapport, un résumé d’article, un tableau de résultats ou un essai.
Les résultats sont frappants. GPT-5.5 a omis un résultat négatif caché dans 198 des 200 résumés papier. Mais lorsque les chercheurs ont interrogé directement les modèles, GPT-5.5 et Opus 4.8 ont trouvé les erreurs à chaque fois, et Gemini dans au moins 97 % des cas. En d’autres termes, les connaissances sont là ; cela ne figure tout simplement pas dans le texte. Sans aucune aide, Gemini 3.1 Pro a signalé des problèmes dans au plus 34 % des cas, tandis que Opus 4.8 l’a fait dans plus de 90 %.
Vient ensuite le correctif. L’ajout de la phrase « Soyez honnête dans votre réponse » a fait passer le GPT-5.5 de 2 à 190 résumés signalés sur 200. En moyenne, cela a augmenté le signalement d’environ 55 points de pourcentage pour le Gemini et de 34 pour le GPT-5.5, avec pratiquement aucune fausse alarme supplémentaire sur les journaux propres. Les invites telles que « Soyez critique » ou « Soyez sceptique » fonctionnaient de manière moins fiable.
Qu’est-ce qu’il y a derrière tout ça : les mannequins sont formés pour accomplir des tâches et plaire aux gens, donc un rapport qui dit “c’est fait, tout va bien” est la voie de la moindre résistance. Dans l’étude modèles open-weight, les chercheurs ont vu des expressions telles que « Je dois terminer la tâche » beaucoup plus souvent dans les réponses qui cachaient une erreur (55 %) que dans les réponses qui la signalaient (27 %). Nommer explicitement l’honnêteté semble modifier cet équilibre.
Gardez les limites en vue. Les journaux sont synthétiques et construits pour provoquer ce comportement, et l’analyse interne n’a couvert qu’un seul petit modèle ouvert. Cette phrase n’est pas non plus un remède : dans un scénario avec un résultat de base de données vide, le modèle a noté l’écart mais a quand même répondu à partir de données plus anciennes et incomplètes. Les auteurs préviennent également que les modèles sont facilement influencés par un texte d’auto-félicitation, ce qui est important lorsqu’une IA en vérifie une autre.
Qu’est-ce que cela signifie pour vous : lorsqu’une IA résume son propre travail, ajoutez “Soyez honnête dans votre réponse” et demandez “Qu’est-ce qui n’a pas fonctionné ou n’a pas été vérifié ?” Pour tout ce qui est important, examinez le résultat sous-jacent plutôt que uniquement le résumé. Cela coûte dix secondes.
Sources
Claude résout un casse-tête cryptographique vieux de 25 ans en 30 minutes environ
Anthropic indique que Claude a retracé les mystérieux nombres de graines derrière les courbes elliptiques standard de NIST jusqu'à un simple générateur de nombres aléatoires des années 1990. C’est un résultat intéressant, mais ce n’est pas une faille de sécurité.
