RHAE
La métrica de puntuación detrás de ARC-AGI-3, que mide no solo si un agente resolvió un nivel sino también cuántos movimientos necesitó en comparación con un humano.
La mayoría de los puntos de referencia plantean una pregunta sencilla: ¿el modelo lo hizo bien? RHAE, abreviatura de Eficiencia Relativa de la Acción Humana, añade una segunda pregunta: ¿cuánta agitación fue necesaria? Compara la cantidad de acciones que un agente realizó en un nivel con las que necesitaba un jugador humano por primera vez, luego las agrega en todos los niveles y entornos de la prueba.
La razón por la que esto es importante es que la fuerza bruta es barata para una máquina. Un agente puede ganar casi cualquier juego pequeño probando miles de cosas al azar, y una puntuación de aprobado o reprobado lo consideraría un éxito. RHAE no lo hace, lo que lo convierte en un mejor proxy para lo que la gente realmente quiere de un agente: llegar a algún lugar sensato sin gastar una tarde de computación en callejones sin salida.