Los agentes de inteligencia artificial de la startup de seguridad ingresaron a los sistemas comerciales de Anthropic y ambas partes lo dicen de manera diferente
Los investigadores de Cathedral utilizaron agentes de inteligencia artificial para llegar a parte del software empresarial de terceros de Anthropic. Anthropic confirma el acceso limitado y dice que los chats, el código y los pesos de los modelos de Claude no se modificaron.
The Decoder informó el 28 de octubre, citando un borrador del informe Washington Post, que los investigadores de la startup de seguridad Cathedral utilizaron agentes de inteligencia artificial para ingresar a algunos de los sistemas comerciales de Anthropic. Cathedral vende herramientas de seguridad basadas en IA a gobiernos y empresas. Su equipo trabajaba bajo el propio programa Anthropic, bug bounty, que paga a investigadores externos que informan fallas. Los detalles están en disputa, así que trate todo lo que aparece a continuación como si fuera un informe y no un acuerdo.
Según el informe, los agentes ingresaron a través de software comercial de terceros, específicamente programas externos de administración y ventas, no a través de los propios sistemas de inteligencia artificial de Anthropic. Cathedral dice que encontró transcripciones de reuniones, datos salariales, ofertas de trabajo y mensajes Slack en cuestión de horas. Anthropic confirma el acceso a un conjunto limitado de sistemas de ventas, recursos humanos y TI, incluidos algunos detalles de contacto de clientes y socios y datos básicos de la cuenta. Dice que las conversaciones Claude, el código fuente y los pesos de los modelos nunca fueron expuestos. Anthropic también dice que Cathedral primero probó sus sistemas internos durante días, encontró dos vulnerabilidades pero informó solo una, y que Anthropic encontró y solucionó la segunda por sí mismo. Cathedral dice que siguió la práctica de investigación estándar y que tomó menos de 12 horas.
Anthropic apagó los puntos de acceso afectados el mismo día, desactivó los programas de terceros hasta que se solucionaran y notificó a las autoridades federales de EE. UU. Argumenta que Cathedral fue más allá del “puerto seguro” del programa (la protección que normalmente protege a los investigadores de buena fe) al apuntar a proveedores externos y extraer datos. Un ex empleado de OpenAI afirma que Cathedral tenía acceso de administrador completo al Slack de Anthropic. Logan Graham de Anthropic dice que esa afirmación es incorrecta pero no dio detalles. Alex Stamos, jefe de seguridad de Cognition, calificó los hallazgos como significativos y dijo que las aplicaciones integradas de terceros son un punto débil en toda la industria.
Qué hay detrás de esto: lo interesante no es tanto el robo como el método. Los agentes de IA ahora pueden sondear los sistemas de una empresa incansablemente, y la puerta más débil suele ser la herramienta de un proveedor en lugar del propio código de la empresa. Graham escribió que “los modelos actuales son muy creativos” y recomendó pruebas internas continuas. Mientras tanto, las reglas bug bounty fueron escritas para investigadores humanos, y es probable que los argumentos sobre lo que se considera “dentro del alcance” se hagan más ruidosos.
Qué significa esto para usted: si es cliente de Anthropic, la compañía dice que el contenido del chat no se modificó, aunque es posible que sí se hayan modificado los datos de contacto en los sistemas de ventas. Si dirige una pequeña empresa, compruebe qué herramientas de terceros contienen sus datos y a qué pueden acceder. Las contraseñas seguras y los límites de acceso a esas herramientas son tan importantes como la aplicación principal.
Fuentes
Análisis: Según se informa, los socios editores obtienen una vía rápida hacia las respuestas de ChatGPT
El análisis de un investigador sugiere que el contenido de los socios de licencia de OpenAI llega a ChatGPT como resúmenes listos para usar colocados por delante de los resultados web normales. OpenAI no ha comentado en el informe.
