alineación de valores
La distinción entre un sistema de IA que persigue el objetivo que se le asignó y se comporta con sensatez en situaciones para las que nadie escribió instrucciones.
La alineación de objetivos es la más estrecha de las dos: ¿el sistema realmente hace lo que usted pidió? La alineación de valores es la más difícil: cuando el sistema se enfrenta a una situación que las instrucciones nunca cubrieron, ¿se generaliza de una manera que una persona razonable reconocería como sensata? Puedes tener el primero sin el segundo.
El científico jefe de OpenAI, Jakub Pachocki, argumentó en septiembre de 2026 que esta brecha es la peligrosa, porque un sistema altamente capaz que sigue correctamente sus instrucciones en una situación que nadie anticipó es exactamente lo que hace que las cosas salgan mal. No es una historia sobre una máquina que se vuelve hostil, es una historia sobre una máquina que es literal.