Netflix ha ricostruito il suo motore di raccomandazione come modello linguistico e ha vinto il test A/B con uno 0,115%

Netflix ha messo a confronto il suo sistema di raccomandazioni di lunga data con un modello linguistico costruito internamente e il modello linguistico ha vinto. L’azienda ha pubblicato i risultati sul suo blog di ingegneria il 22 agosto. Il sistema si chiama GenRec e il suo trucco è di una semplicità quasi disarmante: invece di descriverti con migliaia di numeri, ti descrive con frasi.

Il vecchio sistema si basa su migliaia di funzionalità realizzate a mano, ovvero piccole informazioni che gli ingegneri hanno progettato e codificato manualmente, come la frequenza con cui finisci una serie o quanto ti piace un determinato genere. Questo approccio funziona, ma è costoso estenderlo. Ogni volta che Netflix aggiunge un nuovo tipo di contenuto come giochi, formati live o podcast, qualcuno deve creare nuove funzionalità per esso.

GenRec salta questo passaggio. Le riproduzioni, la durata della visione, il pollice su o giù, le aggiunte all’elenco e il momento in cui ti arrendi al secondo episodio vengono tutti scritti come testo, un po’ come una conversazione in corso tra te e il servizio. Un modello a peso aperto ottimizzato, ovvero un modello i cui pesi sono pubblicati in modo che chiunque possa adattarli, legge la cronologia e assegna un punteggio a ogni titolo corrispondente in un unico passaggio. Netflix non dice da quale modello aperto è partito.

I numeri sono modesti ma reali. Offline, GenRec si è classificato migliore di circa l’1,6% rispetto al sistema di produzione, e nella sua seconda fase di formazione è arrivato con circa 40 volte meno esempi di formazione etichettati. In un test A/B live di quattro settimane su circa il 10% del traffico, un parametro di coinvolgimento sulla schermata iniziale a breve termine è aumentato dello 0,115% e un parametro principale a lungo termine è aumentato dello 0,006%. Netflix afferma che entrambi i guadagni sono statisticamente solidi e non rumorosi.

Cosa guida una raccomandazione adesso

Ecco la parte che vale la pena comprendere, perché in questo momento appare ovunque nell’intelligenza artificiale. Il lavoro si è spostato dall’ingegneria delle funzionalità all’ingegneria del contesto. Nessuno progetta più segnali numerici intelligenti. La domanda è quali eventi appartengono all’input del modello e quanti. Una versione full-text della tua cronologia di visualizzazione supererebbe la finestra di contesto, il che significa la quantità di testo che un modello può tenere a mente in una sola volta, quindi Netflix filtra attentamente: le sessioni lunghe rimangono in tutti i dettagli, i tocchi rapidi vengono eliminati, le abbuffate vengono condensate. Il loro grafico mostra che oltre una certa durata, ogni evento extra aiuta a malapena e calcola solo i costi.

Due onesti avvertimenti. Netflix definisce questo “un passo precoce ma promettente” e non sostituirà il vecchio sistema. E questi modelli diventano obsoleti in fretta: un modello base vecchio di sole due settimane già perde terreno perché non ha visto i nuovi titoli.

Cosa significa per te: Se usi Netflix, oggi non cambia nulla e uno spostamento dello 0,115% è invisibile a ogni singolo spettatore. La parte interessante è il modello. Un modello linguistico generico, messo a punto sui propri dati e alimentato con una porzione di contesto ben scelta, sta iniziando a battere i sistemi che gli specialisti hanno impiegato anni a mettere a punto manualmente. Se gestisci qualcosa che classifica o ordina, quella è la direzione da guardare. E se stai imparando come funziona l’intelligenza artificiale, ricorda la frase: ciò che inserisci nel prompt ora è il lavoro di progettazione.

Fonti

• GenRec: Verso la raccomandazione LLM nativa su Netflix, Blog tecnico di Netflix
• Netflix testa il modello linguistico come alternativa alla logica di raccomandazione creata manualmente, The Decoder