ZeroBench
Una serie di 100 puzzle di analisi delle immagini costruiti per essere abbastanza difficili da far sì che anche i migliori modelli falliscano nella maggior parte dei casi.
ZeroBench adotta l’approccio opposto alla maggior parte dei test visivi. Invece di raccogliere una grande pila di immagini ordinarie, utilizza solo 100 domande, ciascuna costruita deliberatamente in modo che i modelli non possano arrivarci tramite la corrispondenza dei modelli. Contare le cose disposte in modo scomodo, leggere una tabella in cui i dettagli interessanti sono piccoli, ragionare su più parti di un’immagine contemporaneamente.
Il nome deriva dall’ambizione: quando è stato pubblicato, l’obiettivo era un punto di riferimento su cui i modelli di frontiera ottengono un punteggio pari a zero. Ora non lo fanno più, ma i punteggi rimangono sufficientemente bassi da far sì che una differenza di uno o due punti tra due modelli rientri perfettamente nel rumore. Utile per monitorare i progressi nell’arco di un anno, molto meno utile per dichiarare un vincitore questa settimana.