CourionAI
IT
Newsletter
← Tutte le notizie
openai 3 min di lettura

La nuova modalità ultraveloce di OpenAI esegue il suo modello migliore 14 volte più velocemente

Un nuovo livello API OpenAI basato su Cerebras esegue GPT-5.6 Sol fino a 750 token di output al secondo. Stesso modello, stessa qualità, circa quattordici volte la velocità, inizialmente per un piccolo gruppo di clienti.

Un enorme wafer circolare di silicio che sorge come un sole, con lunghe linee di velocità e una scia di punti che si allontanano da esso

OpenAI ha presentato in anteprima giovedì un nuovo livello di servizio chiamato Ultrafast, che esegue GPT-5.6 Sol, il suo modello più potente, fino a quattordici volte la velocità normale. In numeri concreti, si tratta di fino a 750 token di output al secondo. I token sono i pezzi di testo prodotti da un modello, circa tre quarti di parola ciascuno, quindi 750 al secondo sono più veloci di quanto qualsiasi essere umano possa leggere. L’hardware alla base proviene da Cerebras, la società di chip i cui processori sono costruiti su un unico enorme wafer invece che su tanti piccoli chip.

Il punto che OpenAI sta sottolineando è che si tratta dello stesso modello, non di uno più piccolo. Fino ad ora, il modo per ottenere una risposta rapida era optare per un modello più leggero e accettare che sarebbe stato peggiore nei problemi più difficili. Ultraveloce mantiene l’intelligenza e toglie l’attesa. OpenAI segnala un’accelerazione end-to-end di 5,6 volte su GDPval, un benchmark costruito attorno a un lavoro di conoscenza economicamente prezioso, senza alcun calo misurabile della qualità. Cerebras afferma che l’installazione è cinque volte più veloce di Claude Opus 4.8 e undici volte più veloce di Claude Fable 5.

I primi clienti descrivono cosa cambia quando il ritardo scompare. Podium lo utilizza in un prodotto vocale, dove attendere tre secondi per una risposta a una telefonata fa la differenza tra una conversazione e un silenzio imbarazzante. La società di ricerca finanziaria Rogo afferma che la ricerca complessa inizia a sembrare un’interazione in tempo reale. All’interno di OpenAI, gli ingegneri lo utilizzano durante le interruzioni: quando viene attivato un avviso, il modello legge i registri, analizza le tracce e suggerisce i controlli successivi mentre il sistema continua a comportarsi male, anziché dopo. I ricercatori descrivono una serie di esperimenti notturni che si suddividono in più cicli durante un unico giorno lavorativo.

Cosa sta realmente succedendo qui

La velocità sta silenziosamente diventando il proprio asse di competizione. Per due anni l’industria ha gareggiato sulla capacità, e i modelli sono diventati abbastanza intelligenti che per molti lavori il collo di bottiglia rimanente non è “può farlo” ma “risponderà prima che passi il momento”. Un modello che impiega quaranta secondi non può sostenere una conversazione telefonica, non può aiutare durante un’interruzione, non può sedersi all’interno di un flusso di cassa. Per arrivarci è necessario silicio specializzato, motivo per cui OpenAI si appoggia a Cerebras anziché farlo internamente, e ci ricorda che la storia dell’intelligenza artificiale riguarda tanto i chip quanto i modelli. Un giusto avvertimento: questa è un’anteprima limitata per clienti selezionati, OpenAI non ha pubblicato i prezzi e “fino a 750 token al secondo” è un tetto, non una media.

Cosa significa per te: niente oggi, e va bene. Questo è un livello API per le aziende, non un pulsante in ChatGPT. Ciò che ti dice è dove stanno andando i prodotti che usi. Assistenti vocali che smettono di lasciare spazi vuoti, chat di supporto che risolvono qualcosa invece di bloccarsi, strumenti di codifica che tengono il passo con la digitazione: questi sono tutti problemi di velocità e sono in via di risoluzione. Quando il chatbot della tua banca smette improvvisamente di sembrare una coda di attesa, questo è il tipo di cambiamento che si nasconde dietro.

Fonti

Fonti: https://openai.com/index/previewing-ultrafast/

Articolo successivo

Suno Studio 2.0 ti consente di parlare con uno studio musicale come se fosse un compagno di band

Suno ha trasformato il suo generatore musicale in uno strumento di produzione basato sulla chat: crea strumenti e plugin digitando, importa MIDI, esporta multitraccia illimitata a 32 bit. La politica di esportazione si colloca stranamente vicino ai limiti anti-spam della scorsa settimana.

Un mixer audio coperto di fader e manopole da cui emerge un grande fumetto vuoto, mentre le note musicali fluttuano qua e là