allineamento dei valori
La distinzione tra un sistema di intelligenza artificiale che persegue l’obiettivo che gli è stato assegnato e si comporta in modo sensato in situazioni per le quali nessuno ha scritto istruzioni.
L’allineamento degli obiettivi è il più ristretto dei due: il sistema fa effettivamente ciò che hai chiesto. L’allineamento dei valori è il più difficile: quando il sistema incontra una situazione che le istruzioni non hanno mai coperto, si generalizza in un modo che una persona ragionevole riconoscerebbe come sensato. Puoi avere il primo senza il secondo.
Lo scienziato capo di OpenAI Jakub Pachocki ha sostenuto nel settembre 2026 che questa lacuna è quella pericolosa, perché un sistema altamente capace che segue correttamente le sue istruzioni in una situazione che nessuno aveva previsto è esattamente il modo in cui le cose vanno storte. Non è la storia di una macchina che diventa ostile, è la storia di una macchina che diventa letterale.