Un ricercatore lascia OpenAI dopo otto mesi: scommette sui dati migliori, non sui modelli più grandi
Andrew Ho ha lasciato OpenAI per creare set di dati specializzati e prevede che i laboratori spenderanno oltre 100 miliardi di dollari per raccoglierli. Un ricercatore di Cambridge vede lo stesso schema dall'esterno.
Andrew Ho ha lasciato OpenAI dopo otto mesi, ma la sua motivazione è più interessante della partenza. A suo giudizio, i grandi modelli linguistici generalizzano male: trasferiscono una capacità a una situazione nuova molto meno efficacemente di quanto facciano pensare i risultati più pubblicizzati. Perfino nella programmazione, il settore che riceve più finanziamenti, le prestazioni sarebbero discontinue. Ho attribuisce il problema alla mancanza dei dati di addestramento giusti e sta fondando un’azienda per venderli.
Secondo Ho, gran parte del lavoro economicamente utile compare a malapena nei dati da cui imparano i modelli. «La maggior parte del lavoro dipende molto dal contesto e non si traduce facilmente in un ambiente valutabile», ha scritto. Anche osservando una persona competente, è difficile sapere se avrebbero funzionato pure le strade che non ha scelto. Ho prevede che nei prossimi anni i laboratori di IA spenderanno oltre 100 miliardi di dollari per la raccolta mirata di dati. I primi prodotti riguardano la scienza: set per analisi bioinformatiche, dove a suo dire perfino GPT-5.6 Sol riesce solo nel 30% circa dei casi, e dati per normali attività di laboratorio, come valutare le fotografie degli esperimenti. Seguiranno chimica, scienza dei materiali e sanità. Ho è inoltre apertamente scettico sulle valutazioni dei laboratori di frontiera: resterebbero in perdita perché devono continuare a spendere per mantenere il vantaggio su concorrenti più economici come Qwen e Kimi.
Che cosa c’è dietro
Il ricercatore di Cambridge Adam Hunt descrive lo stesso andamento dall’esterno. I modelli recenti non starebbero diventando più versatili, ma più appuntiti: programmazione e matematica avanzata migliorano, mentre qualità linguistica e logica semplice ristagnano o peggiorano. La spiegazione è meccanica. Il reinforcement learning, il metodo che ha trasformato i modelli di ragionamento, richiede un segnale netto di giusto o sbagliato. Il codice si compila oppure no; una dimostrazione matematica torna oppure no. Per la maggior parte del lavoro umano non esiste un segnale equivalente, quindi quel tipo di addestramento non si può applicare. Hunt assegna alla propria ipotesi una fiducia di circa il 40%, una sincerità rinfrescante in una previsione pubblica. Tom Zahavy di DeepMind propone un argomento strutturale collegato nello studio «LLMs can’t jump»: i modelli gestiscono bene deduzione e induzione, ma non sanno inventare una spiegazione che non sia stata suggerita in alcun modo dai dati di addestramento.
Cosa significa per te: Per la maggior parte delle persone oggi non cambia nulla. È però una correzione utile a un’idea diffusa: i modelli non migliorano in modo uniforme. Il fatto che l’IA sia diventata molto più brava nel lavoro di programmazione di un collega dice pochissimo sui progressi nel tuo. Se uno strumento delude in un compito apparentemente facile e riesce in qualcosa che sembra difficile, non sei tu a usarlo male. Questa discontinuità è lo stato attuale della tecnologia e spiega perché una prova diretta valga più delle note di rilascio.
Fonti
Amazon ridimensiona in silenzio gran parte dei suoi modelli di IA
Nova Premier, Omni, il modello video Reel e il generatore di immagini Canvas entrano di fatto in modalità manutenzione. Le risorse passano a un nuovo gruppo di ricerca sui modelli di frontiera guidato da Pieter Abbeel.
