Un addestramento da 500 dollari fa superare a un modello 9B tutti i modelli di punta in un compito ripetitivo
La società di consulenza Fermisense ha specializzato un piccolo modello aperto nella revisione dei cataloghi e-commerce tramite apprendimento per rinforzo. Ha ottenuto l’87,3%, contro il 76,9% della migliore configurazione di punta, a circa un sessantottesimo del costo per inserzione.
Un resoconto pubblicato lunedì dalla società di consulenza Fermisense, e rapidamente votato su Hacker News, presenta un risultato che sembra troppo bello finché non si esamina il metodo. In un unico compito molto circoscritto, un modello open source da 9 miliardi di parametri ha superato tutti i modelli di punta messi alla prova, tra cui GPT-5.6 Sol, Gemini 3.1 Pro e Claude Fable 5. Per addestrarlo sono bastati circa tre giorni e mezzo su due GPU a noleggio, con una spesa di circa 500 dollari.
Il compito riguarda la revisione dei cataloghi: esaminare foto, titolo e descrizione di un prodotto e-commerce, assegnarlo alla categoria corretta fra circa 13.000, estrarre gli attributi usati da ricerca e filtri e stabilire se viola le regole. Fermisense ha ricostruito il flusso di lavoro sotto forma di quello che definisce un gemello digitale, cioè una simulazione del lavoro reale con gli stessi strumenti e le stesse conseguenze. Ha usato 177.767 episodi di revisione basati sul dataset pubblico Amazon Berkeley Objects, inserendo deliberatamente alcune violazioni. Poiché per ogni episodio si conosce la risposta corretta, un sistema di valutazione può giudicare ogni decisione, penalizzando una violazione non rilevata sette volte più di un falso allarme. È questo riscontro numerico a rendere possibile l’apprendimento per rinforzo: il modello fa un tentativo, riceve un punteggio e si corregge.
I risultati: la migliore configurazione di punta, nonostante 2.800 caratteri di istruzioni messe a punto con cura nel prompt, ha raggiunto il 76,9% del punteggio ottenibile. Il modello 9B addestrato è arrivato all’87,3%, rispetto al 64,2% iniziale. Ha superato la fascia dei modelli di punta dopo circa 250 passaggi di addestramento, all’incirca un giorno. Il costo per 1.000 inserzioni è stato di circa 0,50 dollari, contro i 19 dell’opzione di punta più economica e i 172 di quella più costosa. Un dettaglio spiega meglio di ogni altro l’intero risultato: a ogni singola chiamata, quelle istruzioni ottimizzate facevano aumentare per sempre del 28-55% il costo dei token in ingresso. Le conoscenze inserite nel prompt si affittano a ogni chiamata. Quelle apprese si comprano una volta e restano nei pesi.
Perché un modello piccolo riesce a vincere? Perché il compito non è difficile, ma specifico. A ogni nuova inserzione, un modello generalista riparte da zero: non conosce né la tassonomia del negozio né i valori ammessi per gli attributi, e deve ricostruire tutto dal prompt. Fermisense è trasparente sui casi in cui il metodo non funziona. Il processo deve ripetersi abbastanza spesso perché il costo sia rilevante, e il risultato deve poter essere verificato con una regola o una griglia di valutazione. Se su una decisione si può soltanto discutere, non è possibile attribuirle un punteggio; senza un punteggio, il modello non ha un criterio su cui esercitarsi. Va detto inoltre che Fermisense vende consulenza proprio in questo ambito e che il benchmark è stato creato dalla stessa società. Anche gli altri otto casi citati, da Bridgewater a Intercom e LinkedIn, riportano dati dichiarati dalle rispettive aziende.
Cosa significa per te: Se l’IA ti sembra qualcosa da affittare a tre aziende americane, questo è un controesempio da conoscere. La direzione potrebbe essere quella di specialisti economici, non di un unico cervello gigantesco per ogni esigenza. Non è però un progetto da fine settimana: sono serviti un ambiente simulato, una griglia di valutazione e un vero lavoro di ingegneria. Se la tua azienda prende migliaia di volte al giorno una decisione ripetitiva con una risposta verificabile, la domanda più onesta non è subito se mettere a punto un modello. È se oggi stai pagando prezzi da modello di punta per un lavoro che non richiede capacità da modello di punta.
Fonti
Un tribunale indiano considera l’addestramento dell’IA un «uso privato»: gli editori leggano le clausole
L’Alta Corte di Delhi ha negato all’agenzia ANI un’ingiunzione provvisoria contro OpenAI. Secondo i giudici, archiviare articoli protetti per addestrare ChatGPT rientra probabilmente in un’eccezione di fair dealing. Non è ancora una sentenza definitiva.
