Der leitende Wissenschaftler von OpenAI sagt, kein Labor habe die Ausrichtung gut genug gelöst, um so schnell weiterzumachen
Jakub Pachocki veröffentlichte am 6. September einen Aufsatz mit dem Titel „An Alien Mind“, in dem er argumentierte, dass kein Labor die Ausrichtung und Überwachung ausreichend gelöst habe, um mit maximaler Geschwindigkeit weiter zu skalieren, und dass er freiwillige Verlangsamungen erwarte.
Jakub Pachocki, Chefwissenschaftler von OpenAI, veröffentlichte gestern einen Aufsatz mit dem Titel „An Alien Mind“ mit einem ungewöhnlichen Satz darin, der von der Person stammt, die bei dem Unternehmen, das am schnellsten versendet, forscht. Seine Worte: „Derzeit glaube ich, dass kein Labor die Ausrichtung und Überwachung in ausreichendem Maße gelöst hat, um noch viel länger verantwortungsvoll und mit maximaler Geschwindigkeit zu skalieren.“ Er sagt, er erwarte und hoffe auf freiwillige Entschleunigungen in der gesamten Branche, bis es gemeinsame Sicherheitsstandards gäbe.
Der nützliche Beitrag des Aufsatzes besteht in der Unterscheidung zwischen zwei Arten der Ausrichtung. Bei der Zielausrichtung geht es darum, ob ein System tatsächlich das Ziel verfolgt, das Sie ihm gegeben haben. Bei der Wertausrichtung geht es darum, ob sie sinnvoll auf Situationen verallgemeinert werden kann, für die niemand Anweisungen geschrieben hat. Pachockis Argument ist, dass das erste erreicht werden kann, während das zweite hinterherhinkt, und dass diese Lücke die gefährliche ist, weil ein fähiges System, das Anweisungen in einer Situation, mit der niemand gerechnet hat, korrekt befolgt, genau der Grund dafür ist, dass Dinge schiefgehen. Er möchte, dass bestehende freiwillige Verpflichtungen, darunter OpenAIs eigenes Preparedness Framework und Anthropics Responsible Scaling Policy, zu vorgeschriebenen Sicherheitsmaßnahmen werden, die von externen Prüfern, Regierungsbehörden oder internationalen Gremien durchgesetzt werden. Er beschreibt die Gegenwart als einen Moment, der äußerste Vorsicht erfordert.
Lesen Sie dies zusammen mit der Woche, in der es auf den Markt kam. Vier Frontier-Modelle wurden in den ersten drei Septembertagen ausgeliefert, OpenAI veröffentlichte ein Modell, von dem es sagt, dass es seinen eigenen kritischen Cyber-Schwellenwert erfüllt, und OpenAI verbrachte den Samstag damit, in einem öffentlichen Wiki zu erklären, warum es seine Agentenkoordination zwei Monate lang nie offengelegt hat. Ein Aufsatz des leitenden Wissenschaftlers, in dem er sagt, dass die Bremsen gefunden werden müssen, ist nicht unabhängig von diesen Ereignissen, sondern eine Reaktion darauf. Es ist auch, und das muss man ganz klar sagen, in einem bestimmten Sinne billig: Eine freiwillige Abschwächung, die nur das eigene Unternehmen beobachtet, ist ein Wettbewerbsnachteil, und gerade deshalb plädiert Pachocki eher für eine Durchsetzung von außen als für gute Absichten. Die interessante Frage ist nicht, ob er es ernst meint, sondern ob irgendjemand die Auditierungsmaschinerie aufbaut, die er fordert, und es derzeit keine Stelle gibt, die dazu befugt ist.
Was das für Sie bedeutet. An den Werkzeugen, die heute auf Ihrem Schreibtisch liegen, ändert sich nichts, und es lohnt sich, beiden Lektüren zu widerstehen, zu denen diese Art von Aufsatz einlädt. Es handelt sich nicht um eine Insider-Warnung vor einer drohenden Katastrophe, und es handelt sich auch nicht um als Besorgnis getarntes Marketing. Ein technischer Leiter sagt, die Sicherheitsarbeit habe nicht mit der Fähigkeitsarbeit Schritt gehalten, eine Behauptung, an der man ohne Panik festhalten kann. Wenn Sie sich überhaupt an die KI-Richtlinie halten, müssen Sie in den nächsten Monaten konkret darauf achten, ob eines der hier genannten Frameworks externe Durchsetzung findet, denn freiwillige Verpflichtungen und geprüfte Anforderungen sind sehr unterschiedliche Objekte und nur eines davon übersteht einen Wettbewerb.
Quellen
Eine Sicherheitsfirma hat eine Wegwerfmaschine gebaut, die Ihr Programmierer zerstören kann
Trail of Bits hat Coop veröffentlicht, ein Befehlszeilentool, das virtuelle Einwegmaschinen startet, auf denen Claude Code und Codex vollständigen Toolzugriff erhalten, ohne Ihren eigenen Computer zu berühren. Es verwendet Firecracker unter Linux und Lima unter macOS.
