OSWorld
Un punto de referencia que mide qué tan bien un modelo de IA puede operar un escritorio de computadora real, haciendo clic en las aplicaciones para finalizar las tareas cotidianas.
La mayoría de los puntos de referencia hacen preguntas a un modelo. OSWorld lo coloca frente a un sistema operativo real y le pide que haga algo: abrir un archivo, editar una hoja de cálculo, cambiar una configuración, trabajar en varias aplicaciones. Las puntuaciones son el porcentaje de tareas completadas correctamente y son mucho más bajas que en las pruebas comparativas de texto porque manejar una computadora de escritorio implica una larga cadena de pasos donde cualquier error termina la ejecución.
Se ha convertido en el punto de referencia estándar para lo que la gente llama uso de la computadora. Cuando un laboratorio afirma que su modelo puede operar su máquina en su nombre, OSWorld suele ser el número que cita.