Anthropic lässt einen externen Prüfer in den eigenen Räumen arbeiten

Anthropic gibt an, einem kleinen Team von METR, einer gemeinnützigen Organisation, die KI-Systeme auf riskante Fähigkeiten testet, Insider-Zugriff auf ihre Modelle und Sicherheitspraktiken gewährt zu haben. Sechs METR-Mitarbeiter erhalten nun Firmenhardware, Büroräume und interne Tools, was laut Anthropic in etwa dem entspricht, was die eigenen Risikoteams haben. METR kann dann seine eigene Analyse der Risikostufen, Vorfälle und Praktiken von Anthropic veröffentlichen.

Es gibt Grenzen und Anthropic geht offen damit um. Kundendaten, rechtlich geschütztes Material und Details der Modellarchitektur (der technische Bauplan für den Bau der Modelle) bleiben vom Tisch. Anthropic kann Schwärzungen innerhalb dieser Kategorien verlangen und entscheidet, was in diese Kategorien fällt, kann jedoch kein Veto gegen die Veröffentlichung einlegen. METR behält sich seinerseits das Recht vor, öffentlich zu sagen, wie viel Zugriff es tatsächlich erhalten hat. Das Team ist von anderen METR-Mitarbeitern abgeschottet und arbeitet im Rahmen durchsetzbarer Vereinbarungen.

Anthropic bezeichnet dies als die oberste Ebene eines dreistufigen Systems. Tier-1-Gutachter führen engmaschige Untersuchungen durch und Anthropic genehmigt, was sie veröffentlichen. Tier 2 kann ohne Genehmigung mit der gleichen Art von Schwärzungen veröffentlichen. Tier 3, das Angebot von METR, bietet einen mitarbeiterähnlichen Zugriff. Andere Partner erhalten weniger: SecureBio überprüft das Kapitel über chemische und biologische Waffen von Anthropics August Risk Report, und Accenture und Faculty arbeiten an Red-Teaming (versuchen absichtlich, ein System zu durchbrechen, um Schwachstellen zu finden) und Sicherheitstests. Erste Gespräche mit Hugging Face haben ebenfalls begonnen.

Warum überhaupt? Anthropic argumentiert, dass einige sicherheitsrelevante Informationen nicht veröffentlicht werden dürfen, weil sie Angreifern helfen könnten oder wirtschaftlich sensibel sind. Eine externe Gruppe, die es sehen kann und frei sagen kann, was sie denkt, ist ein Mittelweg zwischen „Vertrauen Sie uns“ und „Alles veröffentlichen“. The Decoder weist darauf hin, dass der Umzug auf die Unterzeichnung des White House Accord auf Super Intelligence durch Anthropic folgt, wozu auch die Zusammenarbeit mit externen Gutachtern gehört. Anthropic sagt, dass jedes Grenzlabor dasselbe tun sollte.

Ein fairer Vorbehalt: Dies ist ein Versprechen über den Zugang, kein Ergebnis. Wir wissen noch nicht, was METR finden wird, und die Redaktionsregeln lassen Anthropic immer noch einen gewissen Einfluss darauf, was die Öffentlichkeit sieht.

Was das für Sie bedeutet: Für die meisten Menschen ändert sich heute nichts. Wenn Sie sich jedoch gefragt haben, wie jemand die Behauptungen überprüft, die KI-Unternehmen über ihre eigene Sicherheit machen, ist dies ein konkretes Beispiel für eine Antwort. Achten Sie auf die ersten veröffentlichten Ergebnisse von METR und darauf, ob die Schwärzungen gerechtfertigt waren. Dieser Kommentar verrät Ihnen mehr als die Ankündigung.

Quellen

• Anthropic: Ein Update zu unabhängigen Gutachtern
• The Decoder: Anthropic gewährt METR Insider-Zugriff