LMArena
Una classifica pubblica che ordina i modelli di IA chiedendo alle persone quale di due risposte anonime preferiscono.
LMArena, un tempo Chatbot Arena, classifica i modelli con il voto del pubblico. Ricevete la stessa richiesta risposta da due modelli senza sapere quale sia quale, scegliete la migliore, e migliaia di quei voti diventano un punteggio Elo, lo stesso sistema usato negli scacchi. Esistono arene separate per testo, generazione di immagini e modifica di immagini.
Il suo punto di forza è che nessuno può prepararsi apposta, a differenza di un benchmark fisso le cui domande possono filtrare nei dati di addestramento. Il punto debole discende da ciò che misura davvero, cioè quale risposta le persone preferiscono a colpo d’occhio. Questo premia un output sicuro di sé, ben formattato e compiacente, e dice poco sulla correttezza del contenuto. Le distanze piccole in cima sono soprattutto rumore: un modello secondo per 20 punti Elo non è sensibilmente peggiore del primo.