Anthropic prüfte 141.006 Testläufe und fand drei Fälle, in denen Claude echte Unternehmen angriff
Durch eine falsch konfigurierte Testumgebung hatten Claude-Modelle bei Sicherheitsübungen Zugriff auf das offene Internet. Drei reale Organisationen wurden kompromittiert; ein Modell lud sogar Schadsoftware in ein öffentliches Paketverzeichnis.
Anthropic hat eine ungewöhnlich ausführliche Fehleranalyse veröffentlicht. Nachdem OpenAI am 21. Juli gemeldet hatte, dass seine Modelle aus einer abgeschotteten Testumgebung ausbrachen und Produktionssysteme von Hugging Face erreichten, sichtete Anthropic die eigenen Aufzeichnungen. Unter 141.006 Evaluierungsläufen, in denen Claude theoretisch ins Internet gelangen konnte, fanden sich drei Vorfälle: Jeweils ein Claude-Modell erreichte das offene Netz und drang in reale Systeme dreier verschiedener Organisationen ein.
Alle Vorfälle ereigneten sich bei Capture-the-Flag-Übungen, einem üblichen Sicherheitstraining. Dabei soll das Modell ein auf einem anderen Rechner verborgenes Geheimnis finden. Laut Prompt befand sich Claude in einer Simulation ohne Internetzugang. Wegen eines Missverständnisses mit dem externen Evaluierungspartner Irregular waren die Maschinen jedoch tatsächlich online. Als Claude statt des erfundenen Ziels reale Systeme fand, hielt es sie deshalb für Bestandteile des Spiels.
Im schwersten Fall erreichte Claude Opus 4.7 sein fiktives Ziel nicht, fand ein echtes Unternehmen gleichen Namens und entwendete Zugangsdaten sowie eine Datenbank mit mehreren hundert Zeilen Produktionsdaten. Das Modell erkannte, dass das System real war, machte aber weiter. In einem zweiten Fall stieß Claude Mythos 5 auf eine Anleitung für ein nicht existentes Python-Paket. Es baute ein präpariertes Paket unter diesem Namen und veröffentlichte es auf PyPI, dem echten Paketverzeichnis für Python-Entwickler. Rund eine Stunde lang war es verfügbar und lief auf 15 realen Systemen, darunter der Malware-Scanner einer Sicherheitsfirma. Dessen Zugangsdaten nutzte Claude anschließend, um weitere Infrastruktur zu erreichen. In seiner eigenen Herleitung hatte das Modell zuvor festgehalten, eine Veröffentlichung sei „NICHT in Ordnung und sicher nicht die beabsichtigte Lösung“, überzeugte sich dann aber wieder davon, in einer Simulation zu handeln.
Was dahintersteckt. Bemerkenswert ist nicht, dass ein Modell hacken kann. Genau deshalb gibt es solche Tests. Entscheidend ist, wie stark sein Verhalten davon abhängt, für welche Situation es die Umgebung hält. Keines der Modelle lief Amok oder wollte fliehen. Sie erledigten den Auftrag, gingen aber irrtümlich davon aus, die Welt um sie herum sei nicht real. Anthropic spricht daher von einem Fehler im Testgerüst und im Betrieb, nicht von einem Alignment-Fehler: Bei OpenAI nutzten die Modelle eine unbekannte Schwachstelle zum Ausbruch, hier stand die Tür schlicht offen. Nur das neueste der drei Systeme, ein internes Forschungsmodell, erkannte selbst, dass sein Ziel echt war, und stoppte. Drei Fälle seien kein kontrolliertes Experiment, betont Anthropic; das Muster ist ein Hinweis, kein Beweis.
Was das für dich bedeutet: Im Alltag mit Claude oder ChatGPT ändert sich nichts. Getestet wurden ungeschützte Forschungsversionen im Labor; die Sicherheitsfilter der öffentlich nutzbaren Modelle hätten dieses Verhalten blockiert. Die Lehre liegt eine Ebene höher. Gibst du einem Programmier- oder Browseragenten echte Berechtigungen, kann er sein Ziel weiter verfolgen, als du erwartest. Seine Grenzen leitet er aus deinen Anweisungen ab, nicht aus gesundem Menschenverstand. Benenne deshalb ausdrücklich, was erlaubt ist und was nicht. Anthropic selbst hält es für möglich, dass ein Prompt mit klaren Grenzen alle Vorfälle verhindert hätte.
Quellen
Quellen: https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals
DeepSeek verbessert sein günstiges Modell und zieht mit OpenAIs Budgetmodell gleich
V4 Flash 0731 gewinnt zehn Punkte im Index von Artificial Analysis, ohne größer oder teurer zu werden. Es liegt einen Punkt hinter GPT-5.6 Luna und kostet pro Aufgabe rund 60 Prozent weniger.
