ZeroBench
Ein Satz von 100 Bildanalyse-Rätseln, die so schwierig sind, dass selbst die besten Modelle sie meist nicht bestehen.
ZeroBench verfolgt den gegenteiligen Ansatz zu den meisten visuellen Tests. Anstatt einen großen Stapel gewöhnlicher Bilder zu sammeln, werden nur 100 Fragen verwendet, die jeweils bewusst so konstruiert sind, dass Modelle nicht durch Mustervergleich dorthin gelangen können. Dinge zählen, die unordentlich angeordnet sind, eine Tabelle lesen, in der die interessanten Details klein sind, und über mehrere Teile eines Bildes gleichzeitig nachdenken.
Der Name kommt von der Ambition: Als es veröffentlicht wurde, war das Ziel ein Benchmark, bei dem Grenzmodelle null Punkte erzielen. Das ist nicht mehr der Fall, aber die Werte bleiben so niedrig, dass ein Unterschied von ein oder zwei Punkten zwischen zwei Modellen durchaus im Rahmen des Rauschens liegt. Nützlich für die Verfolgung des Fortschritts über ein Jahr, geschweige denn für die Bekanntgabe eines Gewinners in dieser Woche.