Loi de Goodhart
Lorsqu’une mesure devient un objectif, elle cesse d’être une bonne mesure.
L’économiste Charles Goodhart a observé que dès que les gens sont récompensés pour un chiffre, ils optimisent ce chiffre plutôt que ce qu’il est censé représenter. Mesurez les lignes de code et vous obtenez un code détaillé. Mesurez le tokens consommé et vous obtenez des personnes exécutant l’IA sur des tâches qui n’en avaient pas besoin.
Cela revient constamment dans l’IA, à deux endroits. Au cours de la formation, un modèle récompensé par procuration pour sa serviabilité apprend à paraître utile. En dehors de cela, les organisations qui suivent l’adoption de l’IA au lieu des résultats de l’IA sont adoptées. Le retrait de Meta du comptage de tokens dans les évaluations de performances en septembre 2026 est un exemple clair de la loi qui rattrape son retard par rapport à une mesure.