Google e Amazon vogliono entrambi che il tuo codice PyTorch venga eseguito sui loro chip, non su Nvidia
TorchTPU di Google e TorchNeuron di Amazon promettono di spostare le app PyTorch sui propri chip AI con una semplice modifica della configurazione. Nessun benchmarks ancora.
Google e Amazon hanno rilasciato ciascuno uno strumento mirato a uno dei vantaggi più silenziosi di Nvidia: gli sviluppatori di software già scrivono. Secondo TechCrunch il 20 ottobre, Google ha annunciato TorchTPU, una versione open source di PyTorch che funziona sui suoi Tensor Processing Units (TPU) e Amazon ha annunciato TorchNeuron il giorno prima per i suoi chip Trainium. Entrambi affermano che i programmi PyTorch esistenti possono essere spostati con “un semplice cambiamento di configurazione” e senza riscrittura.
PyTorch è il toolkit di programmazione con cui è costruita la maggior parte delle app AI. Meta lo ha creato nel 2016 e lo ha consegnato allo Linux Foundation nel 2022. TechCrunch afferma che alcuni account ne utilizzano l’85% delle app AI, sebbene tale cifra non sia una fonte sicura. Google afferma di aver funzionato con Meta, Hugging Face, Inferact (produttore di vLLM), RadixArk (produttore di SGLang) e altri, quindi TorchTPU funziona bene con gli strumenti più diffusi. Ha inoltre rilasciato una “suite di agenti TPU” per aiutare gli sviluppatori a trasferire app e correggere errori lungo il percorso, e ha aggiornato LiteRT, il suo strumento per eseguire l’intelligenza artificiale su telefoni e laptop. Amazon afferma che sta inviando codice allo stesso PyTorch che “disaccoppia varie funzionalità dai chip di Nvidia”.
Le avvertenze sono la parte importante. La copertura non riporta dati sull’adozione e nessun confronto delle prestazioni per nessuno dei due strumenti. Sottolinea inoltre che ciò non significa che gli sviluppatori abbandoneranno automaticamente l’hardware Nvidia. “Funziona con una modifica della configurazione” è una promessa; quanto bene funzioni su progetti reali e disordinati è ancora da dimostrare.
Cosa c’è dietro: un chip è utile solo se il software può utilizzarlo facilmente. La maggior parte del codice AI è stato scritto e ottimizzato pensando alle GPU di Nvidia, perché le funzionalità di PyTorch sono state costruite attorno ad esse. Questa comodità è una delle ragioni principali per cui le persone continuano ad acquistare Nvidia, anche quando altri chip potrebbero essere più economici. Se il passaggio a un concorrente richiede un fine settimana di riscrittura, la maggior parte dei team resta ferma. Se è necessaria una sola impostazione, i costi di commutazione diminuiscono e i prezzi potrebbero essere sotto pressione. Pensatelo come i caricabatterie del telefono: il connettore, più della batteria, decide cosa acquistare.
Che cosa significa per te: per la maggior parte delle persone, oggi non cambia nulla. Nel corso del tempo, una maggiore concorrenza tra i fornitori di chip potrebbe significare servizi di intelligenza artificiale più economici e una minore dipendenza da un’unica azienda. Se addestri o esegui i modelli da solo, attendi lo benchmarks indipendente e testa il tuo carico di lavoro su piccola scala prima di spostare qualsiasi cosa.
Fonti
DeepSeek rilascia DeepInfer, il motore che utilizza per servire il suo modello più economico
DeepSeek ha reso open source il software di servizio dietro V4.1-Flash sotto Apache 2.0. Nessun numero di velocità ancora, ma potrebbe ridurre i costi di gestione del modello da soli.
