banco cero
Un conjunto de 100 acertijos de análisis de imágenes creados para ser lo suficientemente difíciles como para que incluso los mejores modelos fallen en su mayoría.
ZeroBench adopta el enfoque opuesto a la mayoría de las pruebas visuales. En lugar de recopilar una gran pila de imágenes ordinarias, utiliza sólo 100 preguntas, cada una de ellas construida deliberadamente para que los modelos no puedan llegar allí mediante la comparación de patrones. Contar cosas dispuestas de manera incómoda, leer un cuadro donde el detalle interesante es pequeño, razonar sobre varias partes de una imagen a la vez.
El nombre proviene de la ambición: cuando se publicó, el objetivo era establecer un punto de referencia sobre el cual los modelos de vanguardia puntúan cero. Ya no lo hacen, pero las puntuaciones se mantienen lo suficientemente bajas como para que una diferencia de uno o dos puntos entre dos modelos esté dentro del ruido. Útil para seguir el progreso a lo largo de un año, mucho menos útil para declarar un ganador esta semana.