L'ultimo esame degli agenti
Un benchmark di lunghe attività in più fasi all'interno di applicazioni reali, utilizzato per verificare se un agente può terminare il lavoro anziché semplicemente avviarlo.
L’ultimo esame degli agenti, solitamente abbreviato in ALE, mette alla prova gli agenti nel modo in cui viene testato un nuovo collega: ecco un’applicazione reale, ecco un compito con molti passaggi, vai. Il successo significa che lo stato finale è corretto, non che le singole mosse sembrassero plausibili lungo il percorso.
Questo inquadramento punisce esattamente la modalità di fallimento di cui le persone si lamentano di più. Un modello può produrre un piano sicuro e ben formulato e lasciare comunque il lavoro effettivo a metà, e un punto di riferimento che valuta il testo non verrà notato. ALE conta solo ciò che è cambiato. I punteggi sono bassi su tutta la linea, il che ti dice onestamente dove si trovano attualmente gli agenti autonomi.