Die KI-Agenten des Sicherheits-Startups gelangten in die Geschäftssysteme von Anthropic, und beide Seiten berichten unterschiedlich

The Decoder berichtete am 28. Oktober unter Berufung auf einen Berichtsentwurf von Washington Post, dass Forscher des Sicherheits-Startups Cathedral KI-Agenten eingesetzt hätten, um in einige Geschäftssysteme von Anthropic einzudringen. Cathedral verkauft KI-gestützte Sicherheitstools an Regierungen und Unternehmen. Das Team arbeitete im Rahmen des Anthropic-eigenen Bug bounty-Programms, das externe Forscher bezahlt, die Fehler melden. Die Details sind umstritten, daher betrachten Sie alles unten als gemeldet und nicht als erledigt.

Dem Bericht zufolge gelangten die Agenten über Unternehmenssoftware von Drittanbietern, insbesondere über externe Verwaltungs- und Vertriebsprogramme, und nicht über die eigenen KI-Systeme von Anthropic hinein. Laut Cathedral wurden Besprechungsprotokolle, Gehaltsdaten, Stellenausschreibungen und Slack-Nachrichten innerhalb weniger Stunden gefunden. Anthropic bestätigt den Zugriff auf eine begrenzte Anzahl von Vertriebs-, Personal- und IT-Systemen, einschließlich einiger Kontaktdaten von Kunden und Partnern sowie grundlegender Kontodaten. Es heißt, dass Claude-Konversationen, Quellcode und Modellgewichte nie offengelegt wurden. Anthropic sagt außerdem, dass Cathedral zunächst tagelang seine internen Systeme untersucht, zwei Schwachstellen gefunden, aber nur eine gemeldet hat, und dass Anthropic die zweite selbst gefunden und behoben hat. Cathedral gibt an, dass es der üblichen Forschungspraxis entsprach und weniger als 12 Stunden dauerte.

Anthropic schaltete noch am selben Tag die betroffenen Zugangspunkte ab, deaktivierte die Programme von Drittanbietern, bis das Problem behoben war, und benachrichtigte die US-Bundesbehörden. Es wird argumentiert, dass Cathedral über den „Safe Harbor“ des Programms (den Schutz, der normalerweise gutgläubige Forscher schützt) hinausgegangen ist, indem es Drittanbieter ins Visier genommen und Daten abgerufen hat. Ein ehemaliger Mitarbeiter von OpenAI behauptet, dass Cathedral vollen Administratorzugriff auf Slack von Anthropic hatte. In Logan Graham von Anthropic heißt es, dass die Behauptung falsch sei, es wurden jedoch keine Einzelheiten genannt. Alex Stamos, Sicherheitschef bei Cognition, bezeichnete die Ergebnisse als bedeutsam und sagte, integrierte Apps von Drittanbietern seien eine branchenweite Schwachstelle.

Was dahintersteckt: Das Interessante daran ist weniger der Einbruch als vielmehr die Methode. KI-Agenten können nun unermüdlich die Systeme eines Unternehmens untersuchen, und die schwächste Tür ist oft das Tool eines Anbieters und nicht der unternehmenseigene Code. Graham schrieb, dass „aktuelle Modelle sehr kreativ sind“ und empfahl kontinuierliche interne Tests. Mittlerweile wurden Bug bounty-Regeln für menschliche Forscher geschrieben, und die Auseinandersetzungen darüber, was als „im Geltungsbereich“ gilt, dürften immer lauter werden.

Was das für Sie bedeutet: Wenn Sie ein Anthropic-Kunde sind, gibt das Unternehmen an, dass Chat-Inhalte nicht verändert wurden, obwohl möglicherweise Kontaktdaten in Vertriebssystemen betroffen waren. Wenn Sie ein kleines Unternehmen betreiben, prüfen Sie, welche Tools von Drittanbietern Ihre Daten speichern und was diese erreichen können. Sichere Passwörter und Zugriffsbeschränkungen für diese Tools sind genauso wichtig wie für die Haupt-App.

Quellen

• The Decoder: KI-Agenten gehackt Anthropic