Google ha trasformato un modello finito in uno molto più veloce e ha pubblicato la ricetta
DiffusionGemma scrive 256 parole alla volta invece che una dopo l'altra, raggiunge circa 1.500 token al secondo e costa meno del 10% di un nuovo ciclo di allenamento. La relazione tecnica spiega i compromessi.
Quasi tutti i chatbot AI che hai utilizzato scrivono nel modo in cui digiteresti un messaggio di testo: una parola alla volta, da sinistra a destra, ogni parola scelta dopo quella precedente. Google DeepMind ha ora pubblicato il rapporto tecnico per DiffusionGemma, un modello che funziona in modo diverso. Affina interi blocchi di 256 token contemporaneamente, nel modo in cui un generatore di immagini estrae un’immagine dal rumore, e lo fa a circa 1.500 token al secondo su un chip Nvidia H100. Un token, grosso modo, è un pezzo di una parola, quindi è un dattilografo molto veloce.
Il titolo del rapporto, però, non è la velocità. È il costo. Google non lo ha addestrato da zero. Il team ha preso il modello Gemma-4-26B-A4B esistente e lo ha convertito in un modello di diffusione utilizzando meno del dieci per cento del budget di formazione originale. Il lavoro è stato svolto in due fasi: prima il modello impara a ricostruire blocchi di testo deliberatamente rumorosi, poi una fase combinata che Google chiama SD-RL mescola l’apprendimento per rinforzo, che migliora la qualità della risposta, con la distillazione del campionatore, che insegna al modello a cavarsela con meno passaggi di calcolo. Questa combinazione ha aumentato i punteggi di ragionamento in media di circa dieci punti, quasi quadruplicando il numero di token prodotti da ogni fase di calcolo.
C’è un effetto collaterale davvero affascinante. Un modello normale deve impegnarsi nella prima cifra di una risposta prima di aver terminato il ragionamento. Il rapporto mostra Gemma 4 che inizia una risposta di matematica con “-1”, realizzando a metà della derivazione che “-25” è giusto e virando con una correzione. DiffusionGemma sviluppa risposta e ragionamento in parallelo, così da poter tranquillamente correggere il numero sbagliato prima che tutto sia definitivo. Nel Sudoku, dove ogni voce dipende da voci successive, la versione di diffusione risolve quasi l’85% dei puzzle dopo una leggera messa a punto. Il modello base fallisce completamente il compito.
Ora gli avvertimenti, perché Google è insolitamente schietto al riguardo. La qualità assoluta segue ancora l’originale autoregressivo Gemma 4, soprattutto nel ragionamento. Il modello a volte si blocca ripetendo singole parole, un artefatto dei passaggi di calcolo tagliati in modo aggressivo. Nelle attività multimodali a volte si dimentica di chiudere la sezione di ragionamento, il che abbassa i punteggi. E il vantaggio in termini di velocità vale in gran parte per un singolo utente: una volta che circa 32 richieste raggiungono il modello contemporaneamente, i modelli convenzionali recuperano il throughput. Google la definisce una versione sperimentale, pubblicata sotto Apache 2.0 su Hugging Face in modo che altri possano basarsi su di essa.
Cosa significa per te: Se usi solo un chatbot, oggi non cambia nulla. Ma questa è una discreta anteprima di dove si sta dirigendo il “veloce ed economico”, e la velocità è la cosa che la maggior parte delle persone nota effettivamente. Per chiunque utilizzi personalmente i modelli, l’affermazione interessante è il retrofit: potresti non aver bisogno di un nuovo corso di formazione multimilionario per ottenere un modello fondamentalmente diverso, ma solo di un decimo di uno applicato a un modello che già possiedi. Una startup sta già utilizzando DiffusionGemma per il riconoscimento vocale multilingue, che è più o meno lo scopo di rendere pubblici i pesi.
Fonti
I truffatori iscrivono studenti che non esistono, lasciando poi che sia l’intelligenza artificiale a fare i compiti
I community college statunitensi hanno a che fare con un nuovo tipo di truffa: iscrizioni false per raccogliere aiuti finanziari, con i chatbot che completano silenziosamente i corsi che mantengono il flusso di denaro.
