Lithos-Metal è un nuovo motore aperto per l'esecuzione veloce dell'intelligenza artificiale su silicio Apple Macs
Il motore lithos-metal open source prende di mira i modelli Qwen sui chip M5 di Apple e cita 168 tokens al secondo. Questa cifra è una proiezione basata su presupposti dichiarati, non una velocità end-to-end misurata.
Un nuovo progetto open source chiamato lithos-metal mira a rendere più veloci i modelli linguistici di grandi dimensioni su Macs. Si tratta di un motore di inferenza, ovvero il programma che esegue effettivamente un modello addestrato e produce le sue risposte, costruito appositamente per il silicio Apple e concesso in licenza con Apache 2.0. Un post su Hacker News ha evidenziato un numero di titolo: il modello Qwen3.8-27B a 168 tokens al secondo su uno M5 Max a 40 core. Uno token è una piccola porzione di testo, circa tre quarti di una parola, quindi la velocità di lettura sarebbe molto elevata.
Leggi le clausole scritte in piccolo prima di emozionarti. La pagina del progetto definisce 168 una “proiezione di calcolo target” per un breve contesto 128-token, su una macchina da 48 GB, presupponendo sei tokens accettati per passaggio di verifica di otto righe e tralasciando alcuni costi generali come la stesura e il riavvolgimento. Non è una velocità end-to-end misurata e la pagina avverte che gli ambiti temporali differiscono tra i backend, quindi non è un confronto omogeneo con altri strumenti. In un contesto di 32.000 token la cifra prevista scende a 127 tokens al secondo.
Le idee sulla velocità sono interessanti. I “megakernel” fondono molti piccoli passaggi della GPU in un programma più grande per livello, riducendo i tempi di attesa. Il controllo della generazione rimane sulla GPU invece di tornare alla CPU. E un metodo chiamato DSpark utilizza la decodifica speculativa: un modello piccolo e veloce indovina diversi tokens in anticipo e il modello grande li controlla tutti in un unico passaggio, mantenendo quelli corretti. Quando le ipotesi sono buone, ottieni più parole al prezzo di una.
Allo stato attuale: il progetto è giovane. È necessario un Apple in silicio Mac su macOS 26 o versioni successive e memoria unificata sufficiente per il modello, la bozza del modello e il contesto. Esistono ricette misurate principalmente per lo M5 Max con 40 core GPU e lo M5 Pro per i modelli più piccoli, mentre gli altri chip non sono misurati e non ottengono la fusione automatica. Viene eseguita solo una generazione alla volta e alcune integrazioni di modelli sono etichettate come sperimentali. Offre inoltre un server locale compatibile con le comuni interfacce di chat e può avviare agenti di codifica.
Cosa significa per te: se stai appena iniziando con l’IA locale, non ne hai bisogno; un’app amichevole come Ollama o LM Studio è la strada più semplice. Se possiedi un recente Mac di fascia alta e ti piace armeggiare, vale la pena aggiungerlo ai segnalibri, ma aspetta test di velocità indipendenti. La lezione di oggi è una buona abitudine: quando arriva un numero di velocità senza “misurato” accanto, chiedi cosa sta proiettando.
Fonti
Un difetto critico nell'agente di codifica Archon consente a estranei di prendere il controllo della tua macchina
Un bug di classe di gravità massima (CVSS 9.8) nell'agente di codifica AI Archon espone un'interfaccia di controllo non autenticata. Non esiste ancora alcuna patch; la soluzione temporanea è bloccare l'interfaccia sul tuo computer.
