WebDev Arena
Un classement dans lequel les humains comparent les pages Web de deux modèles côte à côte et votent pour le meilleur.
WebDev Arena fonctionne en interrogeant les personnes plutôt que les machines. Deux modèles reçoivent la même requête pour créer une page Web, les résultats sont affichés côte à côte sans dire lequel est lequel, et un humain choisit le meilleur. Des milliers de ces votes sont transformés en une note Elo, le même système de classement utilisé aux échecs, où un nombre plus élevé signifie qu’un modèle remporte plus de matchs.
Sa force réside dans le fait qu’il mesure le goût et l’utilité, ce que les tests automatisés ne peuvent pas voir. Sa faiblesse est la même : les électeurs récompensent ce qui paraît bon en dix secondes, ce qui n’est pas toujours ce qui tient dans un vrai projet. Lisez-le à côté des benchmarks automatisés, pas à leur place.