Netflix baute seine Empfehlungs-Engine als Sprachmodell um und gewann den A/B-Test mit 0,115 Prozent

Netflix hat sein langjähriges Empfehlungssystem mit einem selbst entwickelten Sprachmodell verglichen, und das Sprachmodell hat gewonnen. Die Ergebnisse veröffentlichte das Unternehmen am 22. August auf seinem Engineering-Blog. Das System heißt GenRec und sein Trick ist fast entwaffnend einfach: Anstatt Sie mit Tausenden von Zahlen zu beschreiben, beschreibt es Sie mit Sätzen.

Das alte System basiert auf Tausenden von handgefertigten Funktionen, d. h. kleinen Informationen, die Ingenieure von Hand entworfen und codiert haben, beispielsweise wie oft Sie eine Serie beenden oder wie sehr Ihnen ein bestimmtes Genre gefällt. Dieser Ansatz funktioniert, aber die Erweiterung ist teuer. Jedes Mal, wenn Netflix einen neuen Inhaltstyp wie Spiele, Live-Formate oder Podcasts hinzufügt, muss jemand neue Funktionen dafür entwickeln.

GenRec überspringt diesen Schritt. Wiedergaben, Wiedergabedauer, Daumen hoch oder runter, Listenergänzungen und der Moment, in dem Sie bei Episode zwei aufgegeben haben, werden alle als Text geschrieben, ein bisschen wie eine laufende Konversation zwischen Ihnen und dem Dienst. Ein fein abgestimmtes offenes Gewichtungsmodell, also ein Modell, dessen Gewichtungen veröffentlicht werden, damit jeder sie anpassen kann, liest diesen Verlauf und bewertet jeden passenden Titel in einem Durchgang. Netflix sagt nicht, von welchem ​​offenen Modell es ausgegangen ist.

Die Zahlen sind bescheiden, aber real. Offline schnitt GenRec etwa 1,6 Prozent besser ab als das Produktivsystem und erreichte dieses Ziel in der zweiten Trainingsphase mit etwa 40-mal weniger gekennzeichneten Trainingsbeispielen. In einem vierwöchigen Live-A/B-Test an etwa zehn Prozent des Datenverkehrs stieg eine kurzfristige Kennzahl für das Engagement auf dem Startbildschirm um 0,115 Prozent und eine langfristige Kernkennzahl um 0,006 Prozent. Laut Netflix sind beide Zuwächse statistisch gesehen solide und kein Rauschen.

Was steuert jetzt eine Empfehlung?

Hier ist der Teil, den es wert ist, verstanden zu werden, da er derzeit überall in der KI auftaucht. Die Arbeit hat sich vom Feature-Engineering zum Kontext-Engineering verlagert. Niemand entwirft mehr clevere numerische Signale. Die Frage ist, welche Ereignisse überhaupt in die Eingabe des Modells gehören und wie viele. Eine Volltextversion Ihres Betrachtungsverlaufs würde über das Kontextfenster hinausgehen, d. h. über die Menge an Text, die ein Model gleichzeitig im Gedächtnis behalten kann, daher filtert Netflix stark: Bei langen Sitzungen bleiben alle Details erhalten, schnelles Tippen wird weggelassen, Binges werden komprimiert. Ihr eigenes Diagramm zeigt, dass ab einer bestimmten Länge jedes zusätzliche Ereignis kaum noch hilft und nur noch Kosten berechnet werden.

Zwei ehrliche Vorbehalte. Netflix nennt dies „einen frühen, aber vielversprechenden Schritt“ und ersetzt das alte System nicht. Und diese Modelle veralten schnell: Ein gerade einmal zwei Wochen altes Basismodell verliert bereits an Boden, weil es die neuen Titel nicht gesehen hat.

Was das für Sie bedeutet: Wenn Sie Netflix nutzen, ändert sich heute nichts und eine Verschiebung um 0,115 Prozent ist für jeden einzelnen Zuschauer unsichtbar. Der interessante Teil ist das Muster. Ein generisches Sprachmodell, das anhand Ihrer eigenen Daten verfeinert und mit einem ausgewählten Kontextausschnitt gespeist wird, beginnt, Systeme zu schlagen, an deren Feinabstimmung Spezialisten jahrelang gearbeitet haben. Wenn Sie etwas ausführen, das eine Rangfolge oder Sortierung durchführt, ist dies die Richtung, die Sie im Auge behalten sollten. Und wenn Sie lernen, wie KI funktioniert, denken Sie an den Satz: Was Sie in die Eingabeaufforderung eingegeben haben, ist jetzt die Designarbeit.

Quellen

• GenRec: Auf dem Weg zur LLM-Native-Empfehlung bei Netflix, Netflix Tech Blog
• Netflix testet Sprachmodell als Alternative zur manuell erstellten Empfehlungslogik, The Decoder