GDPval

GDPval prüft bezahlte Alltagsarbeit: Dokumente entwerfen, Tabellen bearbeiten, recherchieren und mehrstufige Aufgaben mit unordentlichen Eingaben lösen. OpenAI entwickelte ihn als Gegenstück zu Prüfungsfragen, die nur eine enge Form von Klugheit belohnen.

Die Ergebnisse werden in Elo-Punkten statt Prozent angegeben; wichtig ist der Abstand zwischen Modellen, nicht die absolute Zahl. Weil OpenAI den Benchmark zugleich geschaffen hat und darin antritt, sollte er nur eines von mehreren Entscheidungssignalen sein.