Verstärkendes Lernen aus menschlichem Feedback
Der Trainingsschritt, bei dem die Leute die Antworten eines Modells bewerten und ihm beibringen, wie eine gute Antwort aussieht und nicht nur eine wahrscheinliche.
Ein Modell, das nur das Internet gelesen hat, lernt, welcher Text normalerweise als nächstes kommt. Das ist nicht dasselbe wie zu wissen, wie eine hilfreiche, ehrliche oder wohlüberlegte Antwort aussieht. Reinforcement Learning aus menschlichem Feedback, fast immer mit RLHF abgekürzt, ist der Schritt, der diese Lücke schließt. Menschen werden eine Frage und zwei oder mehr mögliche Antworten angezeigt, sie wählen die bessere aus oder bewerten sie, und diese Urteile werden verwendet, um das Modell in Richtung der Art von Antwort zu bewegen, die Menschen bevorzugen.
Das ist einer der Gründe, warum sich ein moderner Chatbot wie ein Assistent und nicht wie eine Autovervollständigungsmaschine anfühlt, und es ist auch der Grund, warum Unternehmen echte Gespräche statt erfundener Testfragen wollen: Die Bewerter müssen sehen, was die Leute wirklich fragen. Hier trifft RLHF auf eine Datenschutzfrage, da das bewertete Material von jemandem getippt wurde, der sich möglicherweise nicht vorgestellt hat, dass ein Fremder es liest.