Ollama rende silenziosamente i Mac più adatti ai modelli aperti

Mentre l’attenzione della settimana si concentrava su un modello da 1,4 terabyte, lo strumento che la maggior parte delle persone usa davvero per eseguire l’IA sul proprio computer ha pubblicato modifiche più importanti nell’uso quotidiano. Ollama 0.32.4 aggiunge il supporto ai modelli Laguna di Poolside, nelle varianti XS 2, XS 2.1 e S 2.1, sulle GPU Apple tramite MLX, il framework di apprendimento automatico sviluppato da Apple per i propri chip.

Il resto delle note di rilascio sembra un elenco di lavori dietro le quinte, ed è proprio questo il punto. L’aggiornamento cambia il modo in cui viene applicata la quantizzazione ai modelli mixture of experts. Quantizzare significa memorizzare i valori di un modello con minore precisione per occupare meno memoria, un po’ come salvare una foto in un JPEG più piccolo. Se lo si fa senza criterio, la qualità scende; con una scelta selettiva si conserva quasi tutta la qualità ottenendo gran parte del risparmio. Ollama ora legge la configurazione del modello originale e applica una strategia coerente sia agli strati densi sia agli esperti attivati di volta in volta. Mantiene a piena precisione il router e la testa di uscita collegata, quantizza l’attenzione e le proiezioni degli esperti, quindi riporta a una precisione superiore le proiezioni discendenti più sensibili. Corregge inoltre la decodifica dei modelli Qwen3 MoE i cui esperti erano stati quantizzati in modi diversi e, su un M5 Max, migliora di circa il 4-9% le prestazioni delle proiezioni gate e ascendenti raggruppate.

Ecco perché un lavoro così poco appariscente decide se l’IA locale sia reale. Su un portatile, il limite non è quasi mai l’intelligenza del modello, ma la memoria. La differenza fra un modello che entra nella RAM e uno che non ci entra è quella fra due secondi e due minuti per risposta, o fra funzionare e non partire affatto. Ogni miglioramento nella compressione accurata sposta un’intera categoria di modelli dal secondo gruppo al primo. Il tema mixture of experts è particolarmente importante perché l’architettura è ormai comune nella fascia alta, ma storicamente era difficile da quantizzare bene. Il router che sceglie l’esperto giusto è piccolo, però molto sensibile alla perdita di precisione: trattarlo come qualsiasi altro strato compromette il modello.

Cosa significa per te: Se non hai mai eseguito un modello in locale, la versione breve è che puoi farlo, non costa nulla e ciò che digiti non lascia il computer. Un Mac recente con almeno 16 GB è una macchina adeguata per cominciare. Ollama richiede un’installazione e un solo comando. Se usi già modelli locali su Apple silicon, vale la pena aggiornare: Laguna su MLX è un’aggiunta reale e le modifiche alla quantizzazione MoE potrebbero far entrare in memoria un modello che prima dovevi evitare. Su Windows o Linux con una scheda Nvidia, le parti MLX non si applicano, mentre la correzione per Qwen3 sì. In ogni caso, è questo progresso costante e noioso ad ampliare senza clamore ciò che può funzionare sull’hardware che possiedi già.

Fonti

• Versione 0.32.4, ollama/ollama su GitHub
• Versione 0.32.4-rc0: model: add Laguna MLX support, GitHub
• Ollama 0.32.4, Freedom.Tech