Aprendizaje reforzado a partir de la retroalimentación humana
El paso de capacitación donde las personas califican las respuestas de un modelo, enseñándole cómo es una buena respuesta en lugar de solo una probable.
Un modelo que sólo ha leído Internet aprende qué texto suele seguir a continuación. Eso no es lo mismo que saber cómo es una respuesta útil, honesta o bien juzgada. El aprendizaje reforzado a partir de la retroalimentación humana, casi siempre abreviado como RLHF, es el paso que cierra esa brecha. A las personas se les muestra una pregunta y dos o más respuestas posibles, eligen la mejor o la califican, y esos juicios se utilizan para empujar el modelo hacia el tipo de respuesta que los humanos prefieren.
Es en gran parte la razón por la que un chatbot moderno se siente como un asistente en lugar de un motor de autocompletar, y también es la razón por la que las empresas quieren conversaciones reales en lugar de preguntas de prueba inventadas: los evaluadores necesitan ver las cosas confusas que la gente realmente pregunta. Ahí es donde RLHF se enfrenta a una cuestión de privacidad, porque el material que se califica fue escrito por alguien que tal vez no se hubiera imaginado a un extraño leyéndolo.