Legge di Goodhart
Quando una misura diventa un obiettivo, smette di essere una buona misura.
L’economista Charles Goodhart ha osservato che non appena le persone vengono ricompensate per un numero, ottimizzano il numero anziché ciò che dovrebbe rappresentare. Misura le righe di codice e otterrai un codice dettagliato. Misura il consumo di tokens e ottieni persone che eseguono l’intelligenza artificiale su attività che non ne avevano bisogno.
Appare costantemente nell’intelligenza artificiale, in due punti. All’interno della formazione, un modello premiato in base alla proxy della disponibilità impara a sembrare utile. Al di fuori di esso, le organizzazioni che monitorano l’adozione dell’intelligenza artificiale invece dei risultati dell’intelligenza artificiale ottengono l’adozione. Il ritiro di Meta dal conteggio di tokens nelle revisioni delle prestazioni nel settembre 2026 è un chiaro esempio del recupero della legge rispetto a una metrica.