Modello di preferenza per la ricerca sull'intelligenza artificiale
Un metodo di Meta FAIR che classifica gli esperimenti di machine learning proposti uno contro l'altro, anziché prevedere i punteggi, per decidere su quali vale la pena dedicare tempo alla GPU.
Gli agenti di ricerca possono suggerire molti più esperimenti di quanti chiunque possa permettersi di eseguire, perché proporre richiede pochi secondi e la formazione richiede giorni. Un RPM si siede davanti a quella coda e mette in ordine i candidati, quindi sceglie quello in cima da eseguire effettivamente.
La scelta progettuale che lo fa funzionare è un rifiuto: non cerca mai di prevedere quanto bene otterrà un punteggio un esperimento, perché i modelli linguistici si rivelano inaffidabili nel prevedere numeri assoluti. Confrontare due opzioni è una questione molto più semplice che valutare una delle due, che è un trucco che vale la pena prendere in prestito ogni volta che si chiede a un modello di giudicare qualcosa.