Netflix a reconstruit son moteur de recommandation en tant que modèle linguistique et a remporté le test A/B de 0,115 %

Netflix a comparé son système de recommandation de longue date à un modèle linguistique qu’il a construit en interne, et le modèle linguistique a gagné. L’entreprise a publié les résultats sur son blog d’ingénierie le 22 août. Le système s’appelle GenRec, et son astuce est d’une simplicité presque désarmante : au lieu de vous décrire avec des milliers de chiffres, il vous décrit avec des phrases.

L’ancien système repose sur des milliers de fonctionnalités conçues à la main, c’est-à-dire de petites informations conçues et codées à la main par les ingénieurs, telles que la fréquence à laquelle vous terminez une série ou à quel point vous aimez un genre donné. Cette approche fonctionne, mais son extension coûte cher. Chaque fois que Netflix ajoute un nouveau type de contenu comme des jeux, des formats en direct ou des podcasts, quelqu’un doit créer de nouvelles fonctionnalités pour celui-ci.

GenRec ignore cette étape. Les lectures, les durées de visionnage, les pouces vers le haut ou vers le bas, les ajouts à la liste et le moment où vous avez abandonné l’épisode deux sont tous écrits sous forme de texte, un peu comme une conversation en cours entre vous et le service. Un modèle à poids ouvert affiné, c’est-à-dire un modèle dont les poids sont publiés afin que chacun puisse les adapter, lit cet historique et note chaque titre correspondant en un seul passage. Netflix ne dit pas de quel modèle ouvert il est parti.

Les chiffres sont modestes mais réels. Hors ligne, GenRec s’est classé environ 1,6 % mieux que le système de production, et il y est parvenu avec environ 40 fois moins d’exemples de formation étiquetés lors de sa deuxième étape de formation. Au cours d’un test A/B en direct de quatre semaines sur environ dix pour cent du trafic, une mesure d’engagement à court terme sur l’écran d’accueil a augmenté de 0,115 pour cent et une mesure de base à long terme a augmenté de 0,006 pour cent. Netflix affirme que les deux gains sont statistiquement solides plutôt que du bruit.

Qu’est-ce qui motive une recommandation maintenant

Voici la partie qui mérite d’être comprise, car elle apparaît partout dans l’IA à l’heure actuelle. Le travail est passé de l’ingénierie des fonctionnalités à l’ingénierie du contexte. Personne ne conçoit plus de signaux numériques intelligents. La question est de savoir quels événements appartiennent à l’entrée du modèle et combien. Une version en texte intégral de votre historique de visionnage dépasserait la fenêtre contextuelle, ce qui signifie la quantité de texte qu’un modèle peut garder à l’esprit à la fois, donc Netflix filtre durement : les longues sessions restent dans tous les détails, les clics rapides sont supprimés, les frénésie sont condensées. Leur propre graphique montre qu’au-delà d’une certaine durée, chaque événement supplémentaire n’aide guère et ne coûte que calculer.

Deux mises en garde honnêtes. Netflix appelle cela « une étape précoce mais prometteuse » et ne remplace pas l’ancien système. Et ces modèles deviennent vite obsolètes : un modèle de base vieux de seulement deux semaines perd déjà du terrain car il n’a pas vu les nouveaux titres.

Ce que cela signifie pour vous : Si vous utilisez Netflix, rien ne change aujourd’hui et un écart de 0,115 % est invisible pour n’importe quel téléspectateur. La partie intéressante est le motif. Un modèle de langage générique, affiné sur vos propres données et alimenté par une tranche de contexte bien choisie, commence à battre des systèmes que les spécialistes ont passé des années à peaufiner manuellement. Si vous exécutez quelque chose qui classe ou trie, c’est la direction à surveiller. Et si vous apprenez comment fonctionne l’IA, souvenez-vous de la phrase : ce que vous mettez dans l’invite constitue désormais le travail de conception.

##Sources

• GenRec : vers une recommandation LLM-Native chez Netflix, Netflix Tech Blog -Netflix teste un modèle de langage comme alternative à la logique de recommandation construite à la main, The Decoder