LMArena
Eine öffentliche Rangliste, die KI-Modelle danach sortiert, welche von zwei anonymen Antworten Menschen besser gefällt.
LMArena, ursprünglich Chatbot Arena, bewertet Modelle per Publikumsvotum. Sie sehen dieselbe Aufgabe von zwei Modellen beantwortet, ohne zu erfahren, welches welches ist, wählen die bessere Antwort, und aus Tausenden solcher Stimmen entsteht eine Elo-Wertung, dasselbe System wie im Schach. Es gibt getrennte Arenen für Text, Bilderzeugung und Bildbearbeitung.
Die Stärke: Niemand kann dafür pauken, anders als bei einem festen Benchmark, dessen Fragen in Trainingsdaten sickern können. Die Schwäche folgt aus dem, was tatsächlich gemessen wird, nämlich welche Antwort Menschen auf den ersten Blick bevorzugen. Das belohnt selbstbewusste, gut formatierte, zustimmende Ausgaben und sagt wenig darüber, ob der Inhalt stimmt. Kleine Abstände an der Spitze sind überwiegend Rauschen, ein Modell auf Platz zwei mit 20 Elo-Punkten Rückstand ist also nicht bedeutsam schlechter als das auf Platz eins.