Il testo web avvelenato può inserire una backdoor di comando nascosta negli agenti IA
Un documento arXiv con autori tra cui Nicholas Carlini mostra che lo 0,1% di testi di addestramento avvelenati può far sì che un piccolo agente esegua comandi di un utente malintenzionato quando viene attivato.
Un nuovo articolo su arXiv, “Agentic Backdoors via Pretraining Poisoning”, riporta quella che i suoi autori descrivono come la prima dimostrazione che il testo web inserito può creare una backdoor per l’esecuzione di codice remoto in un agente AI. Lo hanno scritto otto ricercatori, tra cui Nicholas Carlini e Javier Rando. In termini semplici: un utente malintenzionato inserisce un testo appositamente predisposto nell’Internet pubblica, un modello successivamente impara da esso e un agente costruito su quel modello può essere indotto a eseguire i comandi dell’utente malintenzionato sul tuo computer.
Come l’hanno testato: hanno creato da zero i piccoli modelli pretrained Qwen3 (0,6, 1,7 e 4 miliardi di parametri, ovvero la dimensione del modello), quindi hanno addestrato ciascuno a fungere da agente della riga di comando. Poisoning Lo 0,1% dei dati pretraining è stato sufficiente per impiantare la backdoor. L’agente si comporta normalmente a meno che non venga visualizzato un trigger, che è ciò che lo rende difficile da individuare. Il successo è aumentato con la dimensione del modello: il modello 4B ha raggiunto circa il 92% con un tasso di avvelenamento dello 0,1% e l’attacco ha funzionato ancora a un tasso diverso da zero con solo lo 0,0005% di dati avvelenati. Il codice è rilasciato su GitHub.
Cosa c’è dietro: I modelli di grandi dimensioni si allenano su enormi pile di testo web che nessuno può leggere per intero. Una backdoor è come un’istruzione dormiente: innocua finché una frase segreta non la sveglia. Ricerche precedenti si concentravano sui chatbot che dicevano cose strane; gli agenti contano di più perché possono agire, eseguendo comandi, modificando file o inviando dati. Mantieni la scala onesta, però. Si tratta di piccoli modelli addestrati in laboratorio, l’attacco è stato progettato dai ricercatori e questa è una dimostrazione di ciò che è possibile, non la segnalazione di un attacco in natura. Inoltre, non sappiamo quanto bene si trasferisca ai set di addestramento molto grandi e pesantemente filtrati dei modelli commerciali.
Che cosa significa per te: Niente panico e non cambiare molto oggi. Le abitudini pratiche aiutano ancora: quando un agente può eseguire comandi, eseguirlo in uno sandbox o in un account utente separato, approvare comandi che non riconosci e tenerlo lontano da segreti come password e chiavi. Se crei o ottimizzi modelli, tratta i dati di addestramento come parte del tuo perimetro di sicurezza, non solo del tuo codice.
Fonti
Un'intelligenza artificiale legge e riscrive i pesi di un'altra intelligenza artificiale, con prove contrastanti
I ricercatori di MIT CSAIL consentono a GPT-6 Astra di modificare direttamente i pesi della rete neurale. I primi risultati sono sorprendenti e un critico sostiene che un ricercatore esperto potrebbe fare lo stesso.
