WebDev Arena
Una classifica in cui gli esseri umani confrontano le pagine web di due modelli fianco a fianco e votano per quella migliore.
WebDev Arena funziona chiedendo alle persone anziché alle macchine. Due modelli ricevono la stessa richiesta di creare una pagina web, i risultati vengono mostrati fianco a fianco senza dire quale sia quale e un essere umano sceglie quello migliore. Migliaia di questi voti vengono trasformati in una valutazione Elo, lo stesso sistema di classificazione utilizzato negli scacchi, dove un numero più alto significa che un modello vince più incontri.
La sua forza è che misura gusto e utilità, cose che i test automatizzati non possono vedere. La sua debolezza è la stessa: gli elettori premiano ciò che sembra buono in dieci secondi, che non è sempre ciò che regge in un progetto reale. Leggilo insieme ai benchmark automatizzati, non al loro posto.