Apprentissage par renforcement à partir des commentaires humains
L'étape de formation où les gens évaluent les réponses d'un modèle, lui apprenant à quoi ressemble une bonne réponse plutôt qu'une simple réponse probable.
Un modèle qui a seulement lu Internet apprend quel texte vient habituellement ensuite. Ce n’est pas la même chose que de savoir à quoi ressemble une réponse utile, honnête ou bien jugée. L’apprentissage par renforcement à partir de la rétroaction humaine, presque toujours abrégé en RLHF, est l’étape qui comble cet écart. On présente aux gens une question et deux ou plusieurs réponses possibles, ils choisissent la meilleure ou la notent, et ces jugements sont utilisés pour orienter le modèle vers le type de réponse que les humains préfèrent.
C’est en grande partie pourquoi un chatbot moderne ressemble à un assistant plutôt qu’à un moteur de saisie semi-automatique, et c’est aussi la raison pour laquelle les entreprises veulent de vraies conversations plutôt que des questions de test inventées : les évaluateurs ont besoin de voir les choses compliquées que les gens demandent réellement. C’est là que RLHF répond à une question de confidentialité, car le matériel évalué a été tapé par quelqu’un qui n’aurait peut-être pas imaginé qu’un étranger le lisait.