Un modello di IA capace che sta nel tuo telefono e funziona interamente offline
La startup PrismML ha compresso un modello aperto da 27 miliardi di parametri in meno di 4 GB, così può funzionare su un iPhone mantenendo circa il 90 per cento delle sue capacità. Secondo alcune indiscrezioni, Apple sta sperimentando questa tecnologia. Ecco perché l'IA sul dispositivo è importante.
La maggior parte dell’IA che usi oggi vive nel cloud: digiti, le tue parole raggiungono un data center e la risposta torna indietro. PrismML, una startup fondata da un gruppo di ricercatori del Caltech, ha appena mostrato una strada diversa. Il suo nuovo modello, Bonsai 27B, è un’IA completa, capace di ragionare su problemi in più passaggi, usare strumenti e leggere immagini, che funziona direttamente su un iPhone senza bisogno di una connessione a internet. I pesi del modello sono aperti con licenza Apache 2.0, quindi chiunque può scaricarli ed eseguirli.
L’idea ingegnosa è la riduzione delle dimensioni. Normalmente, un modello di questa grandezza richiederebbe circa 54 GB di memoria, o circa 18 GB anche dopo la consueta compressione. PrismML è riuscita a portarlo a circa 3,9 GB, abbastanza piccolo da stare su un iPhone 17 Pro Max. Lo fa tramite una «quantizzazione» spinta, che significa semplicemente memorizzare ciascuno dei numeri interni del modello con molti meno dettagli: nella versione più estrema, ogni valore viene ridotto a uno di appena due stati. Nei test condotti dall’azienda su 15 benchmark, la versione tascabile ha mantenuto circa il 90 per cento delle capacità del modello completo, mentre le competenze matematiche e di programmazione sono rimaste «praticamente inalterate». Su un iPhone produce circa 11 parole al secondo e una carica completa della batteria permette di generare all’incirca 67.000 parole prima di esaurirsi.
Cosa c’è dietro: va precisato che questi numeri provengono dalla stessa PrismML, quindi saranno i test indipendenti a raccontare la storia reale, e la compressione più aggressiva ha danneggiato in modo visibile alcune capacità, come la lettura delle immagini e l’esecuzione di istruzioni complesse. La direzione resta però importante. I moderni «agenti» di IA, strumenti che svolgono autonomamente un’attività passo dopo passo, possono chiamare un modello centinaia di volte per un singolo lavoro. Nel cloud, ogni chiamata costa denaro, aggiunge un ritardo e invia i tuoi dati, come schermate e documenti, fuori dal dispositivo. Eseguire tutto sul telefono rende questi cicli sostanzialmente gratuiti e conserva i dati con te. È questo a rendere la tecnologia particolarmente interessante per Apple: la sua IA sul dispositivo è rimasta indietro rispetto ai concorrenti e, secondo CNBC, PrismML avrebbe già avviato trattative preliminari con Apple per concedere in licenza la tecnologia di compressione, anche se l’azienda le definisce «in fase molto iniziale».
Cosa significa per te: oggi non c’è nulla da installare, a meno che ti piaccia sperimentare; esistono una demo gratuita e un’anteprima per sviluppatori. Ma questo è il segnale più chiaro finora che un’«IA privata e offline sul proprio telefono» stia diventando realtà anziché restare un hobby di nicchia. Per chiunque si preoccupi di dove finiscano le proprie richieste e i propri documenti, è una notizia davvero positiva. Aspettati che nei prossimi due anni i telefoni e i portatili che acquisterai si affidino a questo tipo di IA sul dispositivo per le attività quotidiane, riservando il cloud a quelle più difficili.
Fonti
OpenAI ha creato un'IA il cui unico compito è attaccare le altre IA dell'azienda
OpenAI ha addestrato un modello interno chiamato GPT-Red per cercare falle di sicurezza nei propri sistemi, e le trova molto più spesso degli esperti umani. Ecco cosa significa «prompt injection» e perché conta ora che l'IA inizia ad agire per conto tuo.
