Qualcuno ha fatto funzionare DeepSeek V4 Flash in produzione su una singola scheda AMD e ha pubblicato tutte le patch necessarie
Un repository pubblico documenta la configurazione, le patch e l'ottimizzazione necessarie per servire DeepSeek V4 Flash su un AMD MI300X, non quantizzato. È un utile resoconto di quanto lavoro richieda ancora l'esecuzione di un modello aperto su hardware non Nvidia.
DeepSeek ha rilasciato i pesi per V4 Flash il 31 luglio sotto una licenza MIT, il che significa che chiunque può scaricarlo ed eseguirlo. Un repository pubblicato questa settimana mostra quanto costa in pratica “chiunque può eseguirlo”: l’intero set di file di configurazione, patch e tabelle di ottimizzazione di cui un ingegnere aveva bisogno per servire il modello in modo affidabile su una singola scheda AMD MI300X, in produzione, alla precisione originale del checkpoint senza compressione aggiuntiva o scarico nella memoria di sistema.
Il repository è insolitamente onesto riguardo al lavoro coinvolto. Elenca lo stack Docker Compose, le sovrapposizioni di file fissate dai checksum SHA-256 in modo che nulla vada alla deriva, le differenze di riferimento rispetto ai progetti upstream e le tabelle di ottimizzazione. Le correzioni riguardano il formato numerico FP8 del modello, il routing esperto in alta concorrenza, la verifica speculativa causale, la sincronizzazione tra memoria CPU e GPU e diverse forme di kernel che nessuno aveva messo a punto per questa scheda. Le segnalazioni di bug correlate nei progetti vLLM e SGLang mostrano gli stessi aspetti irregolari dall’altra direzione, inclusa una versione vLLM le cui note rivendicavano il supporto AMD che non reggeva sul più recente MI350X.
Cosa c’è dietro. Il vero vantaggio di Nvidia non è mai stato solo il silicio, ma è CUDA, il livello software su cui è scritto tutto nell’intelligenza artificiale. L’equivalente di AMD, ROCm, è migliorato moltissimo, ma “i pesi sono aperti” e “i pesi dipendono dall’hardware” rimangono affermazioni diverse, e il divario è colmato esattamente da questo tipo di ingegneria poco affascinante. Pubblicarlo è più importante di quanto sembri: patch appuntate e configurazioni riproducibili sono il modo in cui un evento eroico una tantum si trasforma in qualcosa che la persona successiva può copiare in un pomeriggio. Ognuno di questi repository rende il secondo fornitore di GPU leggermente più redditizio, che è l’unica cosa che esercita una pressione al ribasso sui prezzi di elaborazione.
Cosa significa per te: se noleggi GPU o esegui inference per un prodotto, le schede AMD sono generalmente più economiche per unità di memoria e questo è un punto dati concreto su ciò che serve per usarle, comprese le modalità di guasto previste. In caso contrario, vale comunque la pena conoscere la storia come sfondo. Quasi tutto il costo dell’intelligenza artificiale oggi è riconducibile ai chip e allo stack software di un’azienda, e tutto ciò che erode tale dipendenza alla fine si manifesta in ciò che paghi per un abbonamento. Vale comunque la pena mantenere le aspettative con i piedi per terra: si tratta della configurazione di un ingegnere per una scheda e un modello, non una promessa generale che gli open weights vadano ovunque.
Fonti
I ricercatori si sono chiesti perché i chatbot non siano efficaci con i fogli di calcolo e la risposta è più strana del previsto
Un nuovo articolo testa cinque spiegazioni sul motivo per cui i modelli linguistici di grandi dimensioni perdono rispetto a metodi vecchi di decenni sulla previsione tabulare. In piccole dimensioni il modello si comporta come un semplice classificatore basato sulla distanza. Nelle dimensioni superiori nulla di classico lo spiega.
