Un modello da 80 miliardi di parametri ora funziona su un normale Mac con 4,3 GB di memoria e uno da 35 miliardi su un iPhone
Swiftlet è un runtime aperto che trasmette in streaming i pesi esperti di un modello dall'SSD invece di caricarli in memoria. Un modello Qwen con 80 miliardi di parametri raggiunge il picco di 4,3 GB di RAM su un Mac. Il compromesso è la velocità e un download di grandi dimensioni.
Uno sviluppatore ha pubblicato Swiftlet, un runtime open source che esegue modelli aperti molto grandi sul normale hardware Apple rifiutandosi del tutto di caricare la maggior parte del modello in memoria. I numeri principali: Qwen3-Next-80B, un modello con 80 miliardi di parametri, occupa 42 GB su disco ma raggiunge un picco di 4,3 GB di RAM su un Mac M5, producendo circa 5 parole di testo al secondo. Un Qwen da 35 miliardi di parametri funziona su un iPhone 17 in circa 2,5 GB. Il codice ha la licenza Apache 2.0.
Il trucco è l’architettura del modello. Questi modelli Qwen sono ciò che viene chiamato un mixture of experts, il che significa che il modello è suddiviso in centinaia di sottoreti specializzate e solo una manciata viene utilizzata per ogni determinata parola. Il modello 80B instrada ciascun token a 10 dei suoi 512 esperti, quindi solo circa 3 miliardi di parametri funzionano effettivamente alla volta. Swiftlet mantiene quel piccolo core permanentemente attivo in memoria, circa 2,5 GB, e recupera i singoli esperti dall’SSD esattamente quando sono necessari. Li impacchetta a una dimensione fissa in modo che un esperto equivalga a una lettura del disco e memorizza nella cache quelli popolari. Gli SSD Apple sono abbastanza veloci che i mancati danni non fanno quasi male.
Cosa c’è dietro. Per due anni la regola pratica per eseguire l’intelligenza artificiale localmente è stata semplice: il modello deve adattarsi alla memoria, quindi un modello 70B significava una macchina costosa. Lo streaming esperto infrange silenziosamente questa regola per una specifica famiglia di modelli. Non è un’idea nuova, l’autore attribuisce il merito ai progetti precedenti TurboFieldfare e ANEMLL, ma questa è la prima versione fornita come libreria, uno strumento da riga di comando, un server locale compatibile con OpenAI e un’app per iPhone finita. L’autore afferma anche in anticipo l’onesta limitazione, ed è la frase più utile dell’intero file readme: poiché sono attivi solo circa 3B parametri per token, questi modelli “chattano e scrivono come modelli di grandi dimensioni ma ricordano fatti come quelli di piccole dimensioni”. La dimensione su disco non è conoscenza in tasca.
Cosa significa per te: se possiedi un Apple Silicon Mac e sei curioso di eseguire l’intelligenza artificiale sul tuo computer, senza inviare nulla a un server, questo abbassa notevolmente il livello dell’hardware. Pianifica lo spazio su disco, 18 GB per il 35B e 42 GB per l’80B, e aspettati velocità di lettura piuttosto che risposte immediate. Su iPhone il 35B attualmente gestisce circa una parola al secondo, il che è una demo piuttosto che uno strumento quotidiano. Se non armeggi, la cosa da prendere da questo è direzionale: il divario tra ciò che funziona in un data center e ciò che funziona sul tuo laptop continua a restringersi, e l’intelligenza artificiale locale rispettosa della privacy sta diventando sempre più difficile da liquidare come un hobby.
Fonti
Un record di otto vincitori e finalisti del Pulitzer hanno rivelato l'utilizzo dell'intelligenza artificiale, e la parte interessante è il motivo per cui l'hanno utilizzata
Otto premi Pulitzer hanno dichiarato quest'anno l'uso dell'intelligenza artificiale, il massimo da quando la divulgazione è diventata obbligatoria nel 2024. In quasi tutti i casi lo strumento è stato utilizzato per cercare o tradurre grandi pile di documenti, non per scrivere.
