Werteausrichtung
Der Unterschied zwischen einem KI-System, das das ihm vorgegebene Ziel verfolgt, und einem vernünftigen Verhalten in Situationen, für die niemand Anweisungen geschrieben hat.
Die Zielausrichtung ist die engere der beiden Fragen: Tut das System tatsächlich das, was Sie verlangt haben? Die Werteausrichtung ist die schwierigere Frage: Wenn das System auf eine Situation trifft, die in den Anweisungen nie behandelt wurde, verallgemeinert es sich dann auf eine Weise, die eine vernünftige Person als sinnvoll erkennen würde? Sie können das Erste ohne das Zweite haben.
Der Chefwissenschaftler von OpenAI, Jakub Pachocki, argumentierte im September 2026, dass diese Lücke gefährlich sei, da ein hochleistungsfähiges System, das seine Anweisungen in einer Situation, mit der niemand gerechnet hat, korrekt befolgt, genau der Grund dafür ist, dass Dinge schiefgehen. Es ist keine Geschichte über eine Maschine, die feindselig wird, es ist eine Geschichte über eine Maschine, die sich im wahrsten Sinne des Wortes verhält.