Guardare il proprio modello ora costa a OpenAI il 20% in più e ha sospeso un corso di formazione per farlo
OpenAI afferma che il monitoraggio della sicurezza aggiunge circa il 20% al calcolo di inferenza monitorato. Ha sospeso l’apprendimento per rinforzo per due settimane e la sua più grande corsa alla frontiera pianificata è ancora in sospeso.
OpenAI ha pubblicato un post il 18 agosto spiegando il motivo del rallentamento. Due cose sono accadute insieme: l’incidente di sicurezza di Hugging Face e le prove preliminari che Astra, un modello di prossima uscita, potrebbe superare la soglia critica di sicurezza informatica nel quadro di preparazione dell’azienda. In risposta, OpenAI ha sospeso per due settimane la formazione con apprendimento per rinforzo sui suoi ultimi modelli mentre rafforzava i suoi ambienti di ricerca, e afferma che il suo più grande ciclo di formazione di frontiera pianificato rimane in sospeso mentre vengono eseguite prima valutazioni più piccole.
Il numero che è stato ritirato è il costo. OpenAI stima il sovraccarico di monitoraggio a circa il 20% del calcolo di inferenza monitorato, anche se sottolinea che la cifra varia molto in base al carico di lavoro. L’inferenza, se la parola è nuova, è semplicemente l’atto di eseguire un modello per produrre una risposta, invece di addestrarlo in primo luogo. Pertanto, per ogni cinque unità di calcolo spese per un carico di lavoro monitorato, un sesto viene speso per monitorarlo. La società ha dichiarato a The Register che si tratta di spese di ricerca interna e non verranno trasferite direttamente ai clienti.
Ciò che il denaro compra è più di un filtro sull’output. I classificatori ispezionano l’attività interna del modello su ogni token campionato e inoltrano qualsiasi cosa strana a investigatori automatizzati progressivamente più costosi, che esaminano le azioni dello strumento, il ragionamento visibile e l’intera sequenza di comportamento per accesso non autorizzato, furto di dati, distruzione o tentativi di aggirare le protezioni. L’obiettivo è un avviso entro 30 minuti e se le squadre contattate non possono escludere un falso allarme in quella finestra, l’attività dovrebbe interrompersi. Il requisito copre tutte le valutazioni di apprendimento per rinforzo e utilizzo di strumenti con capacità GPT-5.6 Sol o superiore e, dal 7 agosto, tutte le inferenze Astra con strumenti.
Ecco la parte che è facile perdere. Questa è un’azienda che afferma ad alta voce che i suoi stessi laboratori sono ora una superficie a rischio. Il lavoro di sicurezza descritto non riguarda la protezione degli utenti dal modello, ma il contenimento del modello all’interno dell’edificio: sandbox più forti per qualsiasi cosa esegua codice generato dal modello, isolamento della rete in modo che un carico di lavoro compromesso non possa raggiungere Internet, rimozione dei servizi condivisi e teaming rosso automatizzato che utilizza i propri modelli per attaccare continuamente i propri confini. Si tratta di un’organizzazione di ricerca che tratta i suoi cluster di formazione più o meno come una banca tratta un trading floor.
Cosa significa per te: oggi non cambia nulla nella tua finestra ChatGPT e nessun prezzo si è mosso. Il motivo per prestare attenzione è l’economia. La sicurezza viene solitamente discussa come una questione politica, e qui appare come una voce con una percentuale allegata, il che la rende una cosa che può essere tagliata quando i margini si restringono. Il Registro ha sollevato esattamente questo punto: assorbire i costi internamente è più facile per un’azienda privata che per una pubblica, cosa che vale la pena ricordare mentre OpenAI si avvia verso la quotazione. Per chiunque costruisca con gli agenti c’è un segnale più piccolo e più pratico: il laboratorio più potente nel settore ha deciso che osservare cosa fa un modello che utilizza uno strumento in ogni passaggio vale un quinto del calcolo.
Fonti
- OpenAI: ritmo di sviluppo del modello in un’era di capacità cyber-critiche
- Il registro: i costi generali di OpenAI aumenteranno del 20% per alcuni carichi di lavoro poiché rafforza la sicurezza
- Aiuta la sicurezza della rete: OpenAI sospende i principali corsi di formazione sull’intelligenza artificiale di frontiera a causa dei rischi informatici
Fonti: https://openai.com/index/pacing-model-development-cyber-capabilities/
Fornisci al modello di frontiera solo una bibliografia e chiedi l'idea. Ci arriva dal 3 al 15 per cento delle volte
Un nuovo benchmark chiamato Reconstruction elimina tutto tranne l'elenco di riferimenti di un articolo e chiede ai modelli di recuperare i risultati principali. Sette modelli di frontiera hanno ottenuto tra il 3 e il 15%. Un torneo multi-agente ha raggiunto quota 42.