LMArena
Un classement public qui ordonne les modèles d'IA en demandant aux gens laquelle de deux réponses anonymes ils préfèrent.
LMArena, autrefois Chatbot Arena, classe les modèles au vote du public. Vous recevez la même requête traitée par deux modèles sans savoir lequel est lequel, vous choisissez la meilleure réponse, et des milliers de ces votes deviennent un score Elo, le système utilisé aux échecs. Il existe des arènes distinctes pour le texte, la génération d’images et l’édition d’images.
Son atout: personne ne peut réviser pour elle, contrairement à un test figé dont les questions peuvent fuiter dans les données d’entraînement. Sa faiblesse découle de ce qu’elle mesure réellement, à savoir la réponse que les gens préfèrent au premier coup d’oeil. Cela récompense une production assurée, bien mise en forme et complaisante, et dit peu de choses sur la justesse du contenu. Les faibles écarts en tête sont surtout du bruit: un modèle deuxième à 20 points Elo n’est pas significativement moins bon que le premier.