OSWorld
Une référence qui mesure dans quelle mesure un modèle d'IA peut faire fonctionner un véritable ordinateur de bureau, en cliquant sur des applications pour terminer les tâches quotidiennes.
La plupart des benchmarks posent des questions modèles. OSWorld le place devant un système d’exploitation réel et lui demande de faire quelque chose : ouvrir un fichier, modifier une feuille de calcul, modifier un paramètre, travailler sur plusieurs applications. Les scores correspondent au pourcentage de tâches terminées correctement, et ils sont bien inférieurs à ceux des tests de texte, car conduire un ordinateur de bureau implique une longue chaîne d’étapes où toute erreur met fin à l’exécution.
Il est devenu la référence standard de ce que l’on appelle l’usage de l’ordinateur. Lorsqu’un laboratoire prétend que son modèle peut faire fonctionner votre machine en votre nom, OSWorld est généralement le numéro qu’il cite.