Les agents IA d'une startup de sécurité ont pénétré dans les systèmes commerciaux d'Anthropic, et les deux parties le disent différemment

The Decoder a rapporté le 28 octobre, citant un projet de rapport Washington Post, que les chercheurs de la startup de sécurité Cathedral ont utilisé des agents d’IA pour accéder à certains des systèmes commerciaux d’Anthropic. Cathedral vend des outils de sécurité basés sur l’IA aux gouvernements et aux entreprises. Son équipe travaillait dans le cadre du programme bug bounty d’Anthropic, qui rémunère les chercheurs externes qui signalent des défauts. Les détails sont contestés, alors traitez tout ce qui suit comme rapporté plutôt que réglé.

Selon le rapport, les agents sont entrés via des logiciels commerciaux tiers, en particulier des programmes d’administration et de vente externes, et non via les propres systèmes d’IA d’Anthropic. Cathedral affirme avoir trouvé des transcriptions de réunions, des données salariales, des offres d’emploi et des messages Slack en quelques heures. Anthropic confirme l’accès à un ensemble limité de systèmes de vente, de ressources humaines et informatiques, y compris certaines coordonnées de clients et partenaires et des données de compte de base. Il indique que les conversations Claude, le code source et les poids du modèle n’ont jamais été exposés. Anthropic indique également que Cathedral a d’abord sondé ses systèmes internes pendant plusieurs jours, trouvé deux vulnérabilités mais n’en a signalé qu’une, et que Anthropic a trouvé et corrigé la seconde lui-même. Cathedral affirme que cela a suivi les pratiques de recherche standard et que cela a pris moins de 12 heures.

Anthropic a fermé les points d’accès concernés le même jour, désactivé les programmes tiers jusqu’à ce qu’ils soient corrigés et en a informé les autorités fédérales américaines. Il affirme que Cathedral est allé au-delà de la « sphère de sécurité » du programme (la protection qui protège normalement les chercheurs de bonne foi) en ciblant des fournisseurs tiers et en extrayant des données. Un ancien employé d’OpenAI affirme que Cathedral disposait d’un accès administrateur complet au Slack d’Anthropic. Le Logan Graham d’Anthropic indique que cette affirmation est fausse mais ne donne aucun détail. Alex Stamos, responsable de la sécurité chez Cognition, a qualifié les résultats d’importants et a déclaré que les applications tierces intégrées constituent un point faible à l’échelle du secteur.

Ce qu’il y a derrière : la partie intéressante est moins l’effraction que la méthode. Les agents IA peuvent désormais sonder sans relâche les systèmes d’une entreprise, et la porte la plus faible est souvent l’outil du fournisseur plutôt que le code de l’entreprise. Graham a écrit que « les modèles actuels sont très créatifs » et a recommandé des tests internes continus. Pendant ce temps, les règles bug bounty ont été écrites pour les chercheurs humains, et les arguments sur ce qui compte comme « dans le champ d’application » risquent de devenir plus forts.

Ce que cela signifie pour vous : si vous êtes un client Anthropic, la société affirme que le contenu du chat n’a pas été modifié, bien que les coordonnées des systèmes de vente aient pu l’être. Si vous dirigez une petite entreprise, vérifiez quels outils tiers détiennent vos données et ce qu’ils peuvent atteindre. Les mots de passe forts et les limites d’accès à ces outils sont aussi importants que l’application principale.

Sources

• The Decoder : des agents IA ont piraté Anthropic