KoboldCpp 1.120 aggiunge un nuovo modo di caricare i modelli e il supporto per quelli aperti più recenti

KoboldCpp, uno dei modi più semplici per eseguire un modello AI sulla propria macchina, ha distribuito la versione 1.120 sabato. Se non l’hai mai usato: è un singolo file scaricabile, senza programma di installazione e senza ambiente Python con cui confrontarsi, che carica un modello aperto dal disco e ti offre una finestra di chat nel tuo browser. Questa versione è piccola ma utile ed è una buona scusa per spiegare un paio di cose che sembrano intimidatorie e non lo sono.

L’aggiunta del titolo è una modalità di caricamento del modello DirectIO, attivata con --usedirectio. Caricare un modello significa copiare diversi gigabyte dal tuo disco in memoria prima che possa succedere qualcosa, e per impostazione predefinita il sistema operativo cerca di essere intelligente al riguardo memorizzando nella cache quei byte lungo il percorso. DirectIO salta lo strato intermedio e legge direttamente dall’unità, il che su molti sistemi significa un avvio più rapido e meno memoria sprecata su una cache non necessaria. Correlati: ora è possibile combinare mlock e mmap, due opzioni precedenti che controllano se il modello viene bloccato in memoria o mappato pigramente dal disco. La versione aggiunge anche il supporto del primo giorno per due nuovissimi modelli aperti, Qwen3.8-Flash-Next e Ling-3.0-flash di Alibaba, e il manutentore aggiunge un avvertimento che vale la pena ripetere: ci sono cattive quantizzazioni di questi in giro, quindi prendi i file da una fonte di cui ti fidi. A completare il tutto ci sono strumenti JavaScript personalizzati configurabili dall’utente nell’interfaccia Kobold Lite integrata, compatibile con il formato di chiamata standard degli strumenti, oltre a correzioni per la generazione di immagini e le consuete fusioni da llama.cpp upstream.

Cosa sta realmente succedendo qui: versioni come questa rappresentano la metà poco affascinante dell’intelligenza artificiale locale e contano più degli annunci dei modelli. Un nuovo modello aperto è utile solo quando qualcosa sul tuo computer può effettivamente caricarlo, e il divario tra “pesi pubblicati su Hugging Face” e “gira su un normale laptop” è colmato da progetti come questo, llama.cpp sottostante, e dalle persone che realizzano versioni quantizzate. La quantizzazione, se questa è una parola nuova, è il trucco di memorizzare i numeri di un modello con una precisione inferiore in modo che possa occupare meno memoria, con un piccolo costo in termini di qualità. Ottenere il supporto del primo giorno per un modello rilasciato tre giorni prima è il genere di cose che decide tranquillamente se i pesi aperti sono una vera alternativa o solo un comunicato stampa.

Che cosa significa per te: se sei curioso di eseguire un modello a livello locale, questo è un punto di partenza davvero a basso impegno. Scarica un file per il tuo sistema, prendi un modello quantizzato e avrai un assistente privato che funziona offline e non costa nulla per messaggio. Non corrisponderà a un modello di frontiera di un grande laboratorio e dovresti aspettarti che sia più lento e meno capace, ma per abbozzare, riassumere e chiedere cose che preferiresti non inviare al server di nessuno, spesso è sufficiente. Se usi già KoboldCpp, il motivo pratico per aggiornare sono i due nuovi modelli e, sulle macchine con unità veloci e memoria limitata, il flag DirectIO. Tutti gli altri possono tranquillamente ignorarlo e attendere la prossima versione.

Fonti

• note sulla versione di koboldcpp-1.120 (GitHub)
• koboldcpp 1.120 (Freedom.Tech)
• Qwen3.8-Flash-Next (Hugging Face)