Questo modello aperto è diventato così bravo a trovare bug che il suo stesso creatore non lo ha ancora rilasciato
GLM-5.3 di Z.ai ha rilevato 2.436 vulnerabilità in 269 progetti open source durante i test. La società sta trattenendo i pesi scaricabili per circa due settimane mentre rafforza il modello, un ritardo insolito per un rilascio a peso aperto.
Il laboratorio cinese di intelligenza artificiale Z.ai ha rilasciato il suo nuovo modello di codifica, GLM-5.3, il 14 agosto, ma c’è un problema: non è ancora possibile scaricarlo. Normalmente un modello “a peso aperto” significa che l’azienda pubblica i file del modello effettivo in modo che chiunque possa eseguirne una copia sul proprio hardware. Z.ai ha invece lanciato GLM-5.3 tramite il suo servizio di codifica in hosting e ha affermato che tratterrà i pesi scaricabili per circa due settimane mentre completa i test di sicurezza.
Il motivo è ciò che è emerso dai test. Su CyberGym, un benchmark che misura la capacità di un modello di individuare le reali vulnerabilità nel software esistente, GLM-5.3 ha ottenuto un punteggio dell’84,5%, rispetto al 77,2% del suo predecessore. Z.ai ha creato un “registro di sicurezza” pubblico elencando ciò che ha rilevato il modello: nella settimana del lancio, 2.436 problemi segnalati in 269 progetti open source, inclusi oltre un migliaio classificati come critici o di elevata gravità. A quel punto solo 53 avevano correzioni pubbliche (CVE, i numeri di tracciamento standard per i difetti software noti); il resto era ancora sotto embargo mentre i manutentori dei progetti interessati lavoravano sulle patch.
Cosa sta realmente succedendo: GLM-5.3 non ha un nuovo cervello, per così dire. Z.ai afferma che è lo stesso modello base di GLM-5.2, solo con una formazione extra su codifica lunga e attività “agentiche”, il che significa che il modello ha fatto pratica eseguendo effettivamente il codice, testandolo e correggendo i propri errori in un ciclo, piuttosto che limitarsi a descrivere cosa dovrebbe fare il codice. Questo tipo di formazione si rivela molto efficace nel trovare i bug del software quasi come un effetto collaterale, perché individuare una vulnerabilità e capire come sfruttarla richiede competenze simili. Vale la pena essere chiari su cosa fanno e cosa non mostrano i numeri: questi sono i risultati dei test di Z.ai, non verificati in modo indipendente, e trovare un bug è un compito diverso e più semplice che entrare in modo affidabile in un sistema live.
Mentre i pesi rimangono privati, Z.ai offre ai ricercatori di sicurezza controllati un accesso controllato e ha rilasciato uno strumento separato chiamato OpenVuln che consente ai manutentori open source di scansionare i propri repository con il modello, prima che chiunque abbia cattive intenzioni ne abbia la possibilità.
Che cosa significa per te: se non lavori con un’infrastruttura open source, questo è principalmente un segnale della direzione in cui si sta dirigendo la ricerca sulla sicurezza dell’intelligenza artificiale, non qualcosa che tocca la tua giornata. Se si mantiene o si fa affidamento su software open source, si tratta di un’anteprima del compromesso in arrivo per tutti: una volta che i pesi di GLM-5.3 saranno pubblici, chiunque potrà eseguire la stessa capacità di caccia ai bug localmente, per difesa o per attacco, e Z.ai ha già detto che non può controllare ciò che accade dopo. Un giusto avvertimento: due settimane non sono un periodo lungo perché centinaia di manutentori possano correggere oltre un migliaio di difetti prima che la rete di sicurezza venga meno.
Fonti
Le competenze migliorano gli agenti IA fornendo loro una lista di controllo, non fatti. E smettono di funzionare a 100 voci
Princeton e UC San Diego hanno eseguito 8.135 test controllati. La procedura ha spiegato il 65,7% dei guadagni, la conoscenza solo il 4,5. L'aumento della libreria da 5 a 100 competenze ha ridotto la precisione di recupero dal 29,6 al 3,3%.
