Più velocità, gratis: Ollama rende l’IA locale fino al 90% più rapida sui Mac
Ollama, il modo più semplice per eseguire modelli IA sul proprio computer, ha reso Gemma 4 di Google molto più veloce sui dispositivi Apple. Nessuna impostazione, nessun compromesso: basta aggiornare e diventa più rapido. Ecco come funziona l’ingegnoso trucco che lo rende possibile.
Ogni tanto un software migliora nel modo più piacevole possibile: lo aggiorni e diventa semplicemente più veloce, senza nulla da configurare, niente da pagare e nessuna condizione nascosta. È ciò che è successo questa settimana a chi esegue modelli IA sul proprio Mac. Ollama, uno strumento gratuito che rende l’esecuzione locale dei modelli IA facile quasi quanto installare un’applicazione, ha pubblicato la versione 0.31 e, grazie a essa, Gemma 4 di Google genera ora testo fino al 90% più rapidamente sui computer Apple.
Un rapido orientamento se questo mondo ti è nuovo: invece di conversare con un’IA nel cloud, come ChatGPT, puoi scaricare un modello gratuito ed eseguirlo direttamente sul tuo computer. Le tue domande non lasciano mai il dispositivo, il modello funziona offline e ogni utilizzo non costa nulla. Il limite tradizionale è stato la velocità: spesso i modelli locali sembrano lenti rispetto ai loro cugini nel cloud. Ecco perché aggiornamenti come questo sono importanti.
Il trucco alla base dell’accelerazione si chiama multi-token prediction ed è davvero ingegnoso. Di norma un modello produce il testo un token alla volta, un token è un frammento di parola; «com-pren-de-re» potrebbe essere composto da quattro. Ora un modello «bozza», piccolo e veloce, corre in avanti e propone i token successivi, mentre il modello grande controlla l’intero gruppo in una volta sola, mantenendo ciò che è corretto e rifacendo ciò che è sbagliato. È come un redattore junior che prepara frasi approvate in blocco da un editor senior. Il risultato è identico a quello che il modello grande avrebbe scritto da solo, ma arriva prima. I testi prevedibili come il codice informatico ne traggono il massimo beneficio, è da qui che proviene il valore del 90%, mentre le conversazioni più libere risultano dal 20 al 40% più veloci, una differenza comunque molto evidente.
Dietro le quinte, i chip Apple più recenti offrono ulteriori miglioramenti di velocità, e Ollama afferma che Gemma 4 è soltanto il primo modello a ricevere questo trattamento: ne arriveranno altri.
Cosa significa per te: Se usi già Ollama con Gemma 4, installa l’aggiornamento e goditi il risultato: hai finito. Se volevi provare l’IA sul tuo computer, ma pensavi che sarebbe stata insopportabilmente lenta, questa convinzione sta invecchiando male e in fretta. Bastano un Mac recente e una serata libera per provarla, e aggiornamenti come questo continuano a ridurre silenziosamente il divario con il cloud.
Fonti
I truffatori hanno trovato un nuovo trucco: registrare gli indirizzi web inventati dall’IA
A volte i chatbot IA inventano indirizzi web inesistenti e i ricercatori hanno scoperto che continuano a inventare gli stessi. Ora gli aggressori acquistano quegli indirizzi e vi costruiscono siti falsi, in attesa dell’arrivo degli utenti dell’IA. Ecco come evitare di diventare uno di loro.
