GDPval

GDPval vérifie le travail quotidien rémunéré : conception de documents, édition de tableaux, recherche et résolution de tâches en plusieurs étapes avec des entrées compliquées. OpenAI l’a développé comme contrepartie aux questions d’examen qui ne récompensent qu’une forme étroite d’intelligence.

Les résultats sont donnés en points Elo au lieu de pourcentage ; Ce qui est important, c’est la distance entre les modèles, et non le nombre absolu. Étant donné qu’OpenAI a créé le benchmark en même temps et y participe, il ne devrait s’agir que d’un signal de décision parmi plusieurs.