ZéroBench
Un ensemble de 100 puzzles d'analyse d'images conçus pour être suffisamment difficiles pour que même les meilleurs modèles échouent pour la plupart.
ZeroBench adopte l’approche opposée à la plupart des tests visuels. Au lieu de collecter une grande quantité d’images ordinaires, il utilise seulement 100 questions, chacune délibérément construite de manière à ce que les modèles ne puissent pas y parvenir par correspondance de modèles. Compter des choses mal arrangées, lire un tableau où les détails intéressants sont petits, raisonner sur plusieurs parties d’une image à la fois.
Le nom vient de l’ambition : lors de sa publication, l’objectif était une référence sur laquelle les modèles frontières obtiennent un score nul. Ce n’est plus le cas, mais les scores restent suffisamment bas pour qu’une différence d’un ou deux points entre deux modèles soit bien à l’intérieur du bruit. Utile pour suivre les progrès sur une année, beaucoup moins utile pour déclarer un gagnant cette semaine.