Gli agenti IA della startup di sicurezza sono entrati nei sistemi aziendali di Anthropic ed entrambe le parti lo dicono in modo diverso
I ricercatori di Cathedral hanno utilizzato agenti IA per raggiungere alcuni software aziendali di terze parti di Anthropic. Anthropic conferma l'accesso limitato e afferma che le chat, il codice e il peso del modello di Claude non sono stati modificati.
The Decoder ha riferito il 28 ottobre, citando una bozza di rapporto Washington Post, che i ricercatori della startup di sicurezza Cathedral hanno utilizzato agenti AI per entrare in alcuni dei sistemi aziendali di Anthropic. Cathedral vende strumenti di sicurezza basati sull’intelligenza artificiale a governi e aziende. Il suo team lavorava nell’ambito del programma bug bounty di Anthropic, che paga ricercatori esterni che segnalano difetti. I dettagli sono controversi, quindi tratta tutto ciò che segue come riportato piuttosto che come stabilito.
Secondo il rapporto, gli agenti sono entrati tramite software aziendali di terze parti, in particolare programmi di amministrazione e vendita esterni, e non tramite i sistemi di intelligenza artificiale di Anthropic. Cathedral afferma di aver trovato trascrizioni di riunioni, dati sugli stipendi, offerte di lavoro e messaggi Slack nel giro di poche ore. Anthropic conferma l’accesso a un insieme limitato di sistemi di vendita, risorse umane e IT, inclusi alcuni dettagli di contatto di clienti e partner e dati di base sull’account. Dice che le conversazioni Claude, il codice sorgente e i pesi dei modelli non sono mai stati esposti. Anthropic afferma inoltre che Cathedral ha prima sondato i suoi sistemi interni per giorni, ha rilevato due vulnerabilità ma ne ha segnalato solo una e che Anthropic ha trovato e risolto da solo la seconda. Cathedral afferma di aver seguito la pratica di ricerca standard e che ci sono volute meno di 12 ore.
Anthropic ha spento i punti di accesso interessati lo stesso giorno, ha disabilitato i programmi di terze parti fino alla risoluzione del problema e ha informato le autorità federali statunitensi. Sostiene che Cathedral sia andato oltre il “porto sicuro” del programma (la protezione che normalmente protegge i ricercatori in buona fede) prendendo di mira fornitori di terze parti ed estraendo dati. Un ex dipendente di OpenAI afferma che Cathedral aveva accesso amministrativo completo a Slack di Anthropic. Logan Graham di Anthropic afferma che l’affermazione è sbagliata ma non ha fornito dettagli. Alex Stamos, responsabile della sicurezza presso Cognition, ha definito i risultati significativi e ha affermato che le app integrate di terze parti rappresentano un punto debole a livello di settore.
Cosa c’è dietro: la parte interessante non è tanto il rodaggio quanto il metodo. Gli agenti IA possono ora sondare instancabilmente i sistemi di un’azienda e la porta più debole è spesso lo strumento del fornitore piuttosto che il codice dell’azienda. Graham ha scritto che “i modelli attuali sono molto creativi” e ha raccomandato test interni continui. Nel frattempo, le regole bug bounty sono state scritte per i ricercatori umani, e le discussioni su ciò che conta come “nell’ambito” probabilmente diventeranno più forti.
Che cosa significa per te: se sei un cliente Anthropic, l’azienda afferma che il contenuto della chat non è stato modificato, anche se potrebbero esserlo stati i dettagli di contatto nei sistemi di vendita. Se gestisci una piccola impresa, controlla quali strumenti di terze parti conservano i tuoi dati e cosa possono raggiungere. Password complesse e limiti di accesso a questi strumenti contano tanto quanto l’app principale.
Fonti
Analisi: secondo quanto riferito, i partner editori ottengono una corsia preferenziale nelle risposte di ChatGPT
L'analisi di un ricercatore suggerisce che i contenuti dei partner di licenza di OpenAI raggiungono ChatGPT come riepiloghi già pronti posizionati prima dei normali risultati web. OpenAI non ha commentato nel rapporto.
