Anthropic consente a un watchdog esterno di lavorare all'interno delle sue mura

Anthropic afferma di aver concesso a un piccolo team di METR, un’organizzazione no-profit che testa i sistemi di intelligenza artificiale per abilità rischiose, l’accesso interno ai suoi modelli e alle pratiche di sicurezza. Sei dipendenti di METR ora ricevono hardware aziendale, spazi per uffici e strumenti interni, che Anthropic descrive più o meno alla pari di ciò di cui dispongono i propri team di rischio. METR può quindi pubblicare la propria analisi dei livelli di rischio, degli incidenti e delle pratiche di Anthropic.

Ci sono dei limiti e Anthropic li tratta apertamente. I dati dei clienti, il materiale legalmente riservato e i dettagli dell’architettura del modello (il progetto tecnico di come sono costruiti i modelli) rimangono fuori dal tavolo. Anthropic può richiedere revisioni all’interno di tali categorie e decidere cosa rientra in esse, ma non può porre il veto alla pubblicazione. METR, dal canto suo, si riserva il diritto di dire pubblicamente quanti accessi ha effettivamente ottenuto. La squadra è isolata dal resto del personale METR e lavora in base ad accordi vincolanti.

Anthropic lo inquadra come il livello più alto di un sistema a tre livelli. I valutatori di livello 1 eseguono indagini ristrette e Anthropic approva ciò che pubblicano. Il Livello 2 può pubblicare senza approvazione, con lo stesso tipo di oscuramenti. Il livello 3, che è l’accordo di METR, aggiunge un accesso simile a quello dei dipendenti. Altri partner ottengono meno: SecureBio sta rivedendo il capitolo sulle armi chimiche e biologiche di August Risk Report di Anthropic, e Accenture e Faculty stanno lavorando su red-teaming (cercando deliberatamente di rompere un sistema per trovare punti deboli) e salvaguardare i test. Sono iniziati anche i primi colloqui con Hugging Face.

Perché farlo? Anthropic sostiene che alcune informazioni rilevanti per la sicurezza non possono essere rese pubbliche, perché potrebbero aiutare gli aggressori o sono commercialmente sensibili. Un gruppo esterno che possa vederlo, ed è libero di dire quello che pensa, è una via di mezzo tra “fidati di noi” e “pubblica tutto”. The Decoder rileva che la mossa segue la firma di Anthropic White House Accord su Super Intelligence, che include la collaborazione con revisori esterni. Anthropic afferma che ogni laboratorio di frontiera dovrebbe fare lo stesso.

Un giusto avvertimento: questa è una promessa di accesso, non un risultato. Non sappiamo ancora cosa troverà METR e le regole di redazione lasciano ancora che alcuni Anthropic dicano ciò che vede il pubblico.

Che cosa significa per te: per la maggior parte delle persone, oggi non cambia nulla. Ma se vi siete chiesti come si controllano le affermazioni fatte dalle società di intelligenza artificiale sulla propria sicurezza, questo è un esempio concreto di risposta. Controlla i primi risultati pubblicati da METR e se afferma che le revisioni erano giustificate. Quel commento ti dirà più dell’annuncio.

Fonti

• Anthropic: Un aggiornamento sui valutatori indipendenti
• The Decoder: Anthropic fornisce accesso interno a METR