WebDev Arena
Eine Rangliste, bei der Menschen die Webseiten zweier Models nebeneinander vergleichen und für die bessere stimmen.
WebDev Arena funktioniert, indem es Menschen und nicht Maschinen fragt. Zwei Modelle erhalten die gleiche Anfrage zum Erstellen einer Webseite, die Ergebnisse werden nebeneinander angezeigt, ohne zu sagen, welches welches ist, und ein Mensch wählt das bessere aus. Tausende dieser Stimmen werden in eine Elo-Bewertung umgewandelt, das gleiche Rangsystem wie im Schach, wo eine höhere Zahl bedeutet, dass ein Modell mehr seiner Matchups gewinnt.
Seine Stärke liegt darin, dass es Geschmack und Nützlichkeit misst, Dinge, die automatisierte Tests nicht erkennen können. Seine Schwäche ist dieselbe: Die Wähler belohnen, was in zehn Sekunden gut aussieht, was bei einem echten Projekt nicht immer Bestand hat. Lesen Sie es neben den automatisierten Benchmarks, nicht anstelle dieser.