DeepSeek rilascia DeepInfer, il motore che utilizza per servire il suo modello più economico

DeepSeek ha pubblicato DeepInfer, il software che afferma di utilizzare per servire il suo modello V4.1-Flash ai clienti. Secondo The Decoder il 20 ottobre, il codice verrà rilasciato sotto la licenza Apache 2.0, che ne consente l’uso gratuito, anche in prodotti commerciali. È basato su vLLM, un popolare strumento di servizio open source, e aggiunge routine di elaborazione più veloci, modi di distribuire il lavoro su molti chip e tecniche di generazione di testo più rapide.

DeepSeek ha anche rilasciato un compagno chiamato deepseek-recipe. Il suo compito è riprodurre il modo in cui l’API ufficiale di DeepSeek elabora il testo, in modo che un modello che ospiti tu stesso si comporti come quello che noleggeresti. L’azienda afferma che anche il codice per i suoi modelli futuri sarà aperto. Il suo obiettivo dichiarato, pubblicato su X, è “aiutare la comunità a ridurre i costi di elaborazione, ridurre il consumo di energia e rendere l’intelligenza artificiale più conveniente”.

Ecco la parte onesta: l’annuncio arriva senza numeri benchmark, accelerazioni o confronti di costi. L’idea che DeepInfer renda V4.1-Flash economico da gestire è l’inquadratura di DeepSeek, non qualcosa di misurato nella copertura che abbiamo trovato. L’opinione di The Decoder secondo cui ciò aggiunge pressione sui prezzi ai fornitori occidentali e potrebbe essere motivata politicamente, è l’analisi dell’autore e non qualcosa che DeepSeek ha detto.

Cosa c’è dietro: “inferenza” è semplicemente l’atto di utilizzare un modello addestrato, invece di addestrarlo. Ogni volta che invii un messaggio, un server esegue un’inferenza. La formazione avviene una volta e costa una fortuna; l’inferenza avviene miliardi di volte, quindi ridurre un po’ i costi per ogni richiesta aumenta. Un motore di servizio è il controllore del traffico che decide come vengono raggruppate le richieste, quale chip gestisce quale pezzo e quanto velocemente le parole ritornano. Due aziende possono eseguire lo stesso modello e pagare fatture molto diverse a seconda di questo software. Pubblicando la propria, DeepSeek consegna a tutti gli altri la versione ottimizzata che tiene per sé.

Ciò spiega anche perché un’azienda nota per i modelli economici si preoccupa. I pesi del modello erano già aperti; l’ingrediente mancante per gli outsider era il modo efficiente di gestirli. DeepInfer colma parte di questo divario.

Cosa significa per te: se chatti solo con l’intelligenza artificiale in un’app, non cambia nulla. Se tu o la tua azienda ospitate modelli aperti, vale la pena aggiungere DeepInfer ai segnalibri, ma attendete test indipendenti prima di spostare qualcosa di importante. Un avvertimento pratico: controlla le regole della tua organizzazione sull’utilizzo dei prodotti DeepSeek, poiché alcuni governi e datori di lavoro le limitano e l’esecuzione di software da qualsiasi fonte merita prima una revisione della sicurezza.

Fonti

• The Decoder: DeepSeek rende open source il motore di inferenza dietro il suo modello più veloce
• The Neuron: Tutto quello che è successo nell’intelligenza artificiale oggi, 21 ottobre