Il pioniere dell'apprendimento per rinforzo Rich Sutton definisce i dati sintetici un grosso errore
Sutton sostiene che un mondo di infinita complessità non può essere appreso dai dati che un modello genera da solo. È una sfida diretta a una delle scorciatoie preferite del settore.
Rich Sutton, una delle figure fondatrici dell’apprendimento per rinforzo e coautore del libro di testo standard del settore, ha definito i dati sintetici un “grosso errore” data la complessità del mondo reale. L’osservazione, riportata il 20 agosto, si basa esattamente su una pratica che è diventata tranquillamente uno standard in tutto il settore.
I dati sintetici sono esattamente quello che sembrano: materiale didattico che un modello genera da solo, o che un altro modello genera per lui, invece di testo e immagini raccolti dal mondo. I laboratori fanno molto affidamento su di esso perché i dati reali sono limitati, costosi, legalmente gravosi e sempre più puliti. L’obiezione di Sutton si collega a un’idea che sostiene da anni, l’ipotesi del grande mondo: qualsiasi sistema di apprendimento è sempre molto più piccolo dell’ambiente in cui opera, quindi non potrà mai contenere un modello completo di quel mondo. Se ciò è vero, allora un sistema che genera il proprio materiale formativo attinge dalla parte del mondo che ha già catturato, che è per definizione la piccola parte. Ottieni più di ciò che il modello già sa, non più di ciò che non sa.
Questa non è una posizione marginale, ma è contestata e si inserisce in una discussione più ampia che ha preso piede nelle ultime settimane. I matematici Timothy Gowers e Peter Sarnak hanno affermato separatamente che i modelli linguistici combinano bene metodi conosciuti ma faticano a inventare basi veramente nuove. Un articolo di DeepMind ha sostenuto lo stesso collo di bottiglia da una direzione diversa. Il controcaso è semplice e ha prove alle spalle: i dati sintetici funzionano in modo dimostrabile per insegnare abilità specifiche, in particolare passaggi di ragionamento e codice, dove una risposta corretta può essere controllata automaticamente. Ciò che Sutton si chiede non è se sia utile ai fini dei parametri di riferimento, ma se potrà mai produrre qualcosa di veramente nuovo, e queste sono affermazioni diverse che spesso vengono discusse come se fossero una sola.
Cosa significa per te: niente di pratico e tutto su come leggere il prossimo ciclo di annunci. Quando un laboratorio segnala un salto rispetto a un benchmark, vale la pena sapere se il guadagno deriva da nuove informazioni sul mondo o da un modello che si esercita contro se stesso. Entrambi sono miglioramenti reali, ma solo uno di essi ti dice che il sistema ora sa qualcosa che prima non sapeva. Se si utilizzano questi strumenti quotidianamente, l’argomentazione di Sutton spiega anche una frustrazione familiare: i modelli sono eccellenti nel ricombinare ciò che esiste e notevolmente più deboli nel momento in cui hai bisogno di qualcosa senza precedenti.
Fonti
L'intelligenza artificiale potrebbe scrivere come un essere umano. La formazione sulla sicurezza è ciò che lo rivela
Il CTO di Pangram sostiene che i modelli linguistici sono rilevabili non perché manchino di capacità, ma perché la post-formazione restringe il modo in cui si esprimono. L'effetto ha un nome: modalità collasso.
