Un modello aperto è ormai mesi, non anni, indietro rispetto alla frontiera. I suoi test di sicurezza non lo sono.
Un rapporto di SaferAI rileva che il GLM-5.2 open-weight di Z.ai si trova solo pochi mesi indietro rispetto ai principali modelli chiusi in termini di capacità informatiche e biologiche e non ha rifiutato nessuno dei compiti offensivi che gli erano stati assegnati. Claude Opus 4.7 ha rifiutato in modo così coerente che il test non ha potuto essere completato.
L’organizzazione no-profit per la sicurezza dell’intelligenza artificiale SaferAI ha pubblicato una valutazione di GLM-5.2, il modello open-weight del laboratorio cinese Z.ai, e il numero del titolo è scomodo in entrambe le direzioni. Per quanto riguarda le capacità informatiche e biologiche, GLM-5.2 si trova solo pochi mesi dietro GPT-5.5 di OpenAI e Claude Opus 4.7 di Anthropic. Per quanto riguarda il comportamento in materia di sicurezza, il discorso non è lo stesso: eseguendo i test tramite l’API pubblica di Z.ai, SaferAI ha scoperto che il modello non rifiutava nessuno dei compiti informatici o biologici offensivi che gli erano stati assegnati. Claude Opus 4.7, al confronto, ha rifiutato così costantemente che i ricercatori non sono riusciti a completare il benchmark CyberGym su di esso.
“Open-weight” significa che i pesi del modello, i numeri che compongono il modello addestrato, vengono pubblicati affinché chiunque possa scaricarli ed eseguirli. Questo è il punto centrale dell’approccio, ed è anche il problema qui. Z.ai potrebbe aggiungere filtri di sicurezza alla propria API ospitata, ma nel momento in cui qualcuno esegue i pesi sul proprio hardware, tali protezioni scompaiono. Possono rimuovere i filtri, fare fine-tuning del modello o modificare il system prompt. SaferAI afferma che Z.ai non ha pubblicato alcun quadro di sicurezza, nessun impegno di test pre-implementazione e nessuna valutazione del rischio per il modello, e Z.ai non ha risposto alle domande di TechCrunch sulle valutazioni interne o di terze parti.
Cosa sta realmente succedendo qui
“La frontiera della capacità non è la frontiera del rischio”, ha dichiarato a TechCrunch Henry Papadatos, direttore esecutivo di SaferAI. Quella frase è l’intero argomento. Per anni il dibattito tra apertura e chiusura si è svolto sulla questione se i modelli aperti potessero competere. La questione è risolta, quindi il dibattito si è spostato su ciò che accade dopo che i pesi sono stati eliminati.
La vera complicazione è che anche le misure di sicurezza dei laboratori chiusi perdono terreno. Far.ai ha trovato centinaia di jailbreak universali, ovvero istruzioni riutilizzabili che sbloccano le richieste più dannose, in modelli di frontiera tra cui Grok 4.5 e Gemini 3.1 Pro. Una tecnica che potrebbe aiutare è filtrare i dati di addestramento prima dell’addestramento, rimuovendo il materiale pericoloso in modo che la conoscenza non venga mai appresa. La ricerca suggerisce che questo funziona ragionevolmente per la biologia. Funziona male per la sicurezza informatica, per una ragione schietta: è molto difficile addestrare un modello che sia eccellente nella codifica ma pessimo nell’hacking, e la codifica è dove stanno i soldi.
C’è una vera e propria controargomentazione, avanzata ad alta voce questa settimana. Hugging Face ha utilizzato GLM-5.2 per difendersi durante la violazione da parte dei modelli pre-release di OpenAI a luglio, e il CEO Clem Delangue ha sostenuto che gli stessi sistemi che hanno fermato un attacco alimentato dall’intelligenza artificiale possono difendersi da milioni di attacchi. Papadatos ritiene che i vantaggi siano sopravvalutati e osserva che gli aggressori adottano nuovi strumenti più velocemente dei difensori: un gruppo di ransomware può cambiare i suoi metodi in una settimana, un ospedale no.
Cosa significa per te: se esegui modelli aperti localmente, non cambia nulla nella tua giornata e i modelli piccoli utilizzati dalla maggior parte delle persone non si avvicinano minimamente a questa classe di capacità. Se lavori nel settore IT o nella sicurezza di una piccola azienda, la lettura pratica è che il toolkit dell’aggressore è diventato di nuovo più economico e che le noiose difese, le patch, i backup e l’autenticazione a più fattori contano più di qualsiasi nuovo prodotto di intelligenza artificiale che potresti acquistare.
Fonti
Fonti: https://www.safer-ai.org/research/glm-5-2-evaluation-report
Meta fornisce Muse Code, un agente di codifica che continua a funzionare dopo un arresto anomalo
Meta ha rilasciato Muse Code in versione beta per macOS e Linux, basato su un nuovo modello Muse Spark 1.2. Le sue due idee interessanti sono gli agenti in background che rimangono attivi per un'intera sessione e un registro eventi locale che consente di riprendere un lavoro interrotto esattamente dal punto in cui si era interrotto.
