Apprendimento per rinforzo dal feedback umano
La fase di addestramento in cui le persone valutano le risposte di un modello, insegnandogli come si presenta una buona risposta piuttosto che semplicemente una probabile.
Un modello che ha letto solo Internet impara quale testo viene solitamente successivo. Non è la stessa cosa che sapere che aspetto ha una risposta utile, onesta o ben giudicata. L’apprendimento per rinforzo dal feedback umano, quasi sempre abbreviato in RLHF, è il passo che colma questa lacuna. Alle persone viene mostrata una domanda e due o più possibili risposte, scelgono quella migliore o le danno un punteggio, e questi giudizi vengono utilizzati per spingere il modello verso il tipo di risposta che gli umani preferiscono.
È in gran parte il motivo per cui un moderno chatbot sembra un assistente piuttosto che un motore di completamento automatico, ed è anche il motivo per cui le aziende vogliono conversazioni reali piuttosto che domande di prova inventate: i valutatori hanno bisogno di vedere le cose confuse che le persone effettivamente chiedono. È qui che RLHF risponde a una domanda sulla privacy, perché il materiale valutato è stato digitato da qualcuno che potrebbe non essersi immaginato che un estraneo lo leggesse.