Último examen de los agentes
Un punto de referencia de tareas largas de varios pasos dentro de aplicaciones reales, que se utiliza para probar si un agente puede terminar el trabajo en lugar de simplemente iniciarlo.
El último examen de agentes, generalmente abreviado como ALE, prueba a los agentes de la misma manera que se prueba a un nuevo colega: aquí hay una aplicación real, aquí hay una tarea con muchos pasos, adelante. El éxito significa que el estado final es correcto, no que los movimientos individuales parezcan plausibles a lo largo del camino.
Ese marco castiga exactamente el modo de fracaso del que más se queja la gente. Un modelo puede producir un plan seguro y bien redactado y aun así dejar el trabajo real a medio hacer, y un punto de referencia que el texto de calificación no notará. ALE solo cuenta lo que cambió. Las puntuaciones son bajas en todos los ámbitos, lo que indica honestamente dónde se encuentran actualmente los agentes autónomos.