Lo scienziato capo di OpenAI afferma che nessun laboratorio ha risolto l'allineamento abbastanza bene da poter andare avanti così velocemente
Jakub Pachocki ha pubblicato un saggio intitolato An Alien Mind il 6 settembre sostenendo che nessun laboratorio ha risolto l'allineamento e il monitoraggio in modo sufficiente per continuare a crescere alla massima velocità e che si aspetta rallentamenti volontari.
Jakub Pachocki, capo scienziato di OpenAI, ha pubblicato ieri un saggio intitolato “An Alien Mind” con una frase insolita proveniente dalla persona che conduce la ricerca presso l’azienda che spedisce più velocemente. Le sue parole: “Attualmente credo che nessun laboratorio abbia risolto l’allineamento e il monitoraggio in misura sufficiente per continuare a crescere responsabilmente alla massima velocità per molto più tempo.” Dice che si aspetta, e spera, rallentamenti volontari in tutto il settore fino a quando non esisteranno standard di sicurezza condivisi.
L’utile contributo del saggio è la distinzione tra due tipi di allineamento. L’allineamento degli obiettivi indica se un sistema persegue effettivamente l’obiettivo che gli hai assegnato. L’allineamento dei valori è se si generalizza in modo sensato a situazioni per le quali nessuno ha scritto istruzioni. L’argomentazione di Pachocki è che il primo può essere raggiunto mentre il secondo resta indietro, e che questo divario è pericoloso, perché un sistema capace che segue correttamente le istruzioni in una situazione che nessuno aveva previsto è esattamente il modo in cui le cose vanno storte. Vuole che gli impegni volontari esistenti, tra cui il Preparedness Framework di OpenAI e la Responsible Scaling Policy di Anthropic, si consolidino in barre di sicurezza obbligatorie applicate da revisori di terze parti, agenzie governative o organismi internazionali. Descrive il presente come un momento che richiede estrema cautela.
Leggi questo insieme alla settimana in cui è arrivato. Quattro modelli di frontiera spediti nei primi tre giorni di settembre, OpenAI ha rilasciato un modello che secondo lui soddisfa la propria soglia informatica critica e OpenAI ha trascorso sabato a spiegare perché non ha mai rivelato i suoi agenti che si coordinavano su una wiki pubblica per due mesi. Un saggio del capo scienziato che afferma che è necessario trovare i freni non è separato da quegli eventi, è una risposta ad essi. È anche, e vale la pena dirlo chiaramente, economico in un senso specifico: un rallentamento volontario che solo la propria azienda osserva è uno svantaggio competitivo, ed è proprio per questo che Pachocki sostiene l’applicazione esterna piuttosto che le buone intenzioni. La domanda interessante non è se sia sincero, ma se qualcuno costruisca il meccanismo di audit da lui richiesto, e attualmente non esiste alcun organismo con l’autorità per farlo.
Cosa significa per te. Non cambia nulla riguardo agli strumenti sulla tua scrivania oggi, e vale la pena resistere a entrambe le letture che questo tipo di saggio invita. Non è un avvertimento interno di una catastrofe imminente, e non è marketing mascherato da preoccupazione. È un leader tecnico che afferma che il lavoro sulla sicurezza non ha tenuto il passo con il lavoro sulle capacità, un’affermazione a cui puoi aggrapparti senza panico. Se si segue la politica sull’intelligenza artificiale, la cosa concreta da monitorare nei prossimi mesi è se qualcuno dei quadri qui nominati acquisisce un’applicazione esterna, perché gli impegni volontari e i requisiti controllati sono oggetti molto diversi, e solo uno di essi sopravvive a una corsa competitiva.
Fonti
Una società di sicurezza ha costruito una macchina usa e getta da distruggere per il tuo agente di codifica
Trail of Bits ha rilasciato Coop, uno strumento da riga di comando che avvia macchine virtuali usa e getta in cui Claude Code e Codex ottengono l'accesso completo allo strumento senza toccare il proprio computer. Utilizza Firecracker su Linux e Lima su macOS.
