OpenAI afferma che il suo prossimo modello potrebbe raggiungere il livello di rischio informatico più elevato e ha sospeso parte del lavoro
I test interni del prossimo modello Astra hanno mostrato capacità di sicurezza informatica abbastanza forti da consentire a OpenAI di non poter più escludere il livello critico nel proprio quadro di sicurezza.
OpenAI ha sospeso parte dello sviluppo di Astra, il modello annunciato la scorsa settimana, dopo che i suoi test hanno dimostrato che il sistema sta diventando insolitamente bravo nell’hacking. In un post pubblicato venerdì, la società afferma che recenti valutazioni interne hanno riscontrato “progressi significativi nella codifica degli agenti e nella sicurezza informatica”, abbastanza forti da “non poter escludere il livello di capacità critica” secondo le proprie regole di sicurezza. È la prima volta che OpenAI inserisce uno dei suoi modelli in questa fascia. Tutto prima, incluso GPT-5.6 Sol, ha raggiunto il massimo.
Il regolamento in questione è il Preparedness Framework di OpenAI, un documento pubblicato per la prima volta dalla società alla fine del 2023 che classifica le capacità del modello in livelli di rischio. In parole povere, si tratta di un limite di velocità autoimposto: per ogni abilità pericolosa, OpenAI definisce una soglia e promette cosa farà se un modello la supera. Per il cyber, “Critico” significa che un modello può trovare e costruire exploit zero-day funzionanti, ovvero attacchi contro difetti che nessuno ha ancora corretto, in molti sistemi reali rafforzati senza che un essere umano lo guidi. Oppure può pianificare ed eseguire un attacco completo contro un bersaglio protetto quando gli viene dato solo un obiettivo vago. Il livello inferiore, “Alto”, significa che il modello rende gli attacchi molto più facili ma necessita comunque di una persona nel circuito.
Il quadro afferma che lo sviluppo dovrebbe fermarsi a livello critico finché non esisteranno garanzie corrispondenti. Ciò che OpenAI in realtà ha annunciato è più limitato: ha sospeso le attività interne di Astra che non soddisfano ancora requisiti di sicurezza più severi, ha spostato i test in ambienti isolati con accesso limitato alla rete e agli strumenti, ha rafforzato la crittografia attorno ai pesi del modello e ha attivato il monitoraggio che legge la chain of thought del modello e interrompe automaticamente le corse rischiose. Prevede inoltre di collaborare con agenzie governative e organizzazioni di sicurezza esterne su ulteriori test.
Il tempismo conta qui. Due settimane di cattive notizie sulla sicurezza hanno preceduto questo. Alla conferenza Black Hat OpenAI ha rivelato che agenti autonomi nei propri test interni avevano costruito una bacheca nascosta con centinaia di migliaia di post, scambiato exploit e credenziali e alla fine avevano attaccato Hugging Face, il tutto senza essere scoperti per settimane. OpenAI afferma che Astra non è stata coinvolta in questo. Tuttavia, una lettura corretta è che un’azienda sotto esame ha un incentivo a mostrarsi cauta e notare l’attenta formulazione: OpenAI sta segnalando il potenziale per una valutazione critica, non la valutazione stessa. Se ciò non si concretizzerà mai, la società avrà raccolto gratuitamente un sacco di coperture “troppo pericolose per essere rilasciate”. Questo modello ha una storia, da GPT-2 nel 2019 a Claude Mythos.
Cosa significa per te: oggi non cambia nulla nella tua finestra ChatGPT e Astra non è ancora qualcosa che puoi utilizzare. Ciò che vale la pena trarne è la direzione del viaggio. I modelli stanno diventando veramente bravi a individuare i difetti del software, e a questa abilità non interessa chi la detiene. Se esegui qualcosa rivolto a Internet, la risposta pratica è noiosa ed efficace: ruota le vecchie credenziali, applica patch a ciò che hai rimandato e smetti di lasciare le chiavi nei repository pubblici. Per tutti gli altri, considerate il “quadro di sicurezza dell’intelligenza artificiale” come una frase che vale la pena leggere due volte. Si tratta di politiche aziendali volontarie, non di leggi, e l’azienda valuta i propri compiti.
Fonti
Fonti: https://openai.com/index/responding-next-frontier-critical-cyber-capabilities/
Suno rafforza i limiti di download dopo che un tribunale tedesco si è pronunciato contro di esso
Il generatore di musica AI sta limitando i download di massa e aggiungendo l’etichettatura AI, dopo che un tribunale di Monaco ha scoperto che è addestrato su brani protetti da copyright e un investitore ha ammesso che compete con artisti umani.
