GPQA

GPQA rassemble des questions scientifiques de niveau universitaire supérieur, conçues pour être réellement difficiles même pour des spécialistes et impossibles à résoudre par une simple recherche web. Les laboratoires s’en servent pour distinguer le raisonnement d’un modèle du simple rappel de faits.

Un score GPQA élevé indique qu’un modèle peut traiter des contenus experts exigeants. Comme toujours avec les benchmarks, il mesure une aptitude étroite et ne doit pas être confondu avec l’intelligence générale.