Decisions API di OpenAI risponde rapidamente a domande sì/no per $ 0,10 per milione di token
Decisions API generalmente disponibile di OpenAI, basato su GPT-6 Luna, restituisce probabilità per domande limitate come la classificazione o il routing e non fattura alcun token di output.
OpenAI ha reso generalmente disponibile il suo Decisions API. Si tratta di un endpoint speciale, costruito sul modello GPT-6 Luna, per domande in cui la risposta è limitata a una serie fissa di opzioni: questa foto è danneggiata, quale team dovrebbe gestire questa email, qual è il passaggio successivo in questo flusso di lavoro. Invece di scrivere un paragrafo, restituisce un numero.
Definisci la domanda e le risposte consentite, quindi fornisci il contesto come testo, immagini o JSON. Esistono tre tipi di risposta. Un “predicato” dà una probabilità da 0 a 1 che qualcosa sia vero. Una “scelta” sceglie una delle tue opzioni e segnala probabilità e confidenza. Un “punteggio” valuta qualcosa rispetto a livelli ordinati, come una rubrica di qualità, come media ponderata in base alla probabilità. OpenAI afferma che è fino a 10 volte più veloce rispetto all’utilizzo di GPT-6 Luna tramite il normale Responses API. Tra i clienti citati figurano Datadog, che segnala una latenza p95 40 volte più veloce (la velocità battuta dal 95% delle richieste) e Speak, che riduce il tempo necessario per l’azione successiva da 1,4 secondi a 0,13.
Il prezzo è notevole: 0,10 dollari per milione di token di input (i token sono i piccoli blocchi di parole letti da un modello), 0,01 dollari per milione di token di input memorizzati nella cache e nessun addebito per i token di output. Poiché l’output è solo un breve risultato, ciò ha senso. Le aggiunte più recenti includono la residenza dei dati negli Stati Uniti e nell’UE, Zero Data Retention per i clienti idonei, prompt caching, immagini nelle istruzioni e fino a 400 domande in un’unica richiesta. La velocità e le cifre relative ai clienti sono affermazioni di OpenAI.
Cosa c’è dietro: la maggior parte dei software reali non ha bisogno di un’intelligenza artificiale che chatti. Ha bisogno di una chiamata di giudizio rapida ed economica migliaia di volte al giorno: spam o no, urgente o no. Usare un modello di chat completo per questo è come assumere un romanziere per spuntare le caselle. Un endpoint dedicato che restituisce le probabilità è più semplice da inserire nel codice normale, poiché è possibile impostare la propria soglia, ad esempio “agire solo se superiore al 90%”.
Cosa significa per te: se non scrivi codice, questo è per lo più invisibile; potresti semplicemente notare che le app stanno diventando più scattanti. Se costruisci strumenti o automazioni, vale la pena testare l’ordinamento, il routing e i controlli di qualità, con una persona che sta ancora esaminando i casi in cui il modello non è sicuro. I numeri di fiducia sono utili, ma non costituiscono una garanzia.
Fonti
Flint: un modello di codifica aperta da 40B che un sistema di intelligenza artificiale ha contribuito a costruire in quattro mesi
Flint di Recursive è un modello di codifica Apache 2.0 open-weight che funziona su laptop ed è stato sviluppato in gran parte dal sistema di ricerca AI dell'azienda, sebbene le affermazioni non siano verificate.
