WebDev Arena
Una tabla de clasificación donde los humanos comparan las páginas web de dos modelos una al lado de la otra y votan por la mejor.
WebDev Arena funciona preguntando a personas en lugar de a máquinas. Dos modelos reciben la misma solicitud para crear una página web, los resultados se muestran uno al lado del otro sin decir cuál es cuál y un humano elige el mejor. Miles de esos votos se convierten en una calificación Elo, el mismo sistema de clasificación utilizado en el ajedrez, donde un número más alto significa que un modelo gana más enfrentamientos.
Su punto fuerte es que mide el sabor y la utilidad, cosas que las pruebas automatizadas no pueden ver. Su debilidad es la misma: los votantes premian lo que parece bueno en diez segundos, lo que no siempre es lo que se sostiene en un proyecto real. Léalo junto con los puntos de referencia automatizados, no en lugar de ellos.