Ein Fields-Medaillengewinner, der eine Arbeit über das Risiko des KI-Aussterbens geschrieben hat, ist gerade OpenAI beigetreten, um an der Sicherheit zu arbeiten

Jacob Tsimerman, der Zahlentheoretiker, der dieses Jahr mit einer Fields-Medaille ausgezeichnet wurde, schließt sich OpenAI an, um an der KI-Sicherheit zu arbeiten. Die Fields-Medaille ist der prestigeträchtigste Preis der Mathematik und wird alle vier Jahre an eine kleine Anzahl von Forschern unter 40 verliehen. Daher ist es eine bemerkenswerte Person, von der University of Toronto in ein KI-Labor zu wechseln.

Seine dargelegte Begründung ist es wert, im Wesentlichen zitiert zu werden. Tsimerman bezeichnet KI als eine äußerst transformative Technologie und sagt, dass die Gesellschaft nicht annähernd genug Anstrengungen in die Sicherheit unternimmt. Das Interessante daran ist seine konkrete Behauptung darüber, was Mathematiker bringen: Die KI-Forschung basiert heute größtenteils auf empirischer Grundlage, das heißt, Menschen probieren Dinge aus, messen, was passiert, und behalten, was funktioniert, ohne dass es nur sehr wenige Garantien dafür gibt, warum sich diese Systeme so verhalten, wie sie es tun. Das ist eine normale Art der Technik und eine unbequeme Art, Sicherheit zu gewährleisten. Zu beweisen, dass ein System etwas nicht kann, ist die Aufgabe eines Mathematikers, und fast niemand kann derzeit viel über ein großes Modell beweisen.

Er ist keine neue Stimme auf der Risikoseite. Letztes Jahr war Tsimerman Mitveröffentlicher eines Artikels über „Omnizidereignisse“, Szenarien, in denen KI zum Aussterben der Menschheit beiträgt. Diese Formulierung ist unter Forschern umstritten, und er scheint sich der Falle bewusst zu sein und sagt, Panik sei nicht die richtige Reaktion, aber die Risiken müssten ehrlich beurteilt werden. Er geht auch davon aus, dass die KI in naher Zukunft den Menschen in der mathematischen Forschung übertreffen wird.

Der Schritt landet mitten in einem anhaltenden Streit darüber, wie viel KI in der Mathematik tatsächlich erreicht hat. Der frühere CEO von DeepMind, Demis Hassabis, nannte die jüngsten Fortschritte einen echten Fortschritt, aber noch keinen grundlegenden Durchbruch, und griff auf AlphaGos berühmten „Move 37“ als Standard zurück, den Moment, in dem ein System etwas hervorbringt, das wirklich außerhalb der menschlichen Intuition liegt, und nicht eine sehr gute Version dessen, was Menschen tun. Für die Mathematik schlägt Hassabis vor, dass die entsprechende Messlatte darin bestehen würde, so etwas wie ein Millennium-Preis-Problem zu knacken, die Menge der sieben berühmten ungelösten Probleme. Auch das kommende Astra-Modell von OpenAI hat dies nicht geschafft, obwohl Hassabis sagt, dass er keinen Grund sieht, warum es nicht irgendwann passieren könnte.

Was das für dich bedeutet: An dem von Ihnen verwendeten Tool ändert sich nichts, und es gibt hier kein Produkt. Was es wert ist, gelesen zu werden, ist ein Signal darüber, wo die Schwierigkeit jetzt liegt. Die KI-Labore stellen reine Mathematiker für die Sicherheitsarbeit ein, was ein Eingeständnis dafür ist, dass der derzeitige Ansatz, ihn zu bauen und zu testen, nicht die Art von Sicherheit liefert, die irgendjemand in der Luftfahrt oder Medizin akzeptieren würde. Wenn Sie sich gefragt haben, warum KI-Unternehmen weiterhin Bewertungsprozentsätze anstelle von Garantien veröffentlichen, ist dies der Grund: Empirische Tests können Ihnen Prozentsätze liefern. Ob sich das ändert, ist eine wirklich offene Frage, und die Einstellung von Leuten wie Tsimerman ist einer der ernsthafteren Versuche, dies zu erreichen.

Quellen

• Wall Street Journal: Demis Hassabis über KI und die Suche nach einem „Move 37“-Moment
• arXiv: Papier über Omnimord-Ereignisse
• Der Decoder: Fields-Medaillengewinner, der einen Artikel über KI-gesteuertes Aussterben von Menschen veröffentlicht hat, arbeitet jetzt für OpenAI