ARC-AGI-3
Un test de puzzle qui teste si un modèle peut déduire des règles qu'il n'a jamais vues auparavant.
ARC-AGI-3 est la troisième génération d’un test de la Fondation Prix ARC et n’est pas destiné à être mémorisé. Pour les grilles simples, la règle doit être dérivée de quelques exemples qui ne ressemblent pas à des données d’entraînement. Les gens les résolvent assez facilement, mais les modèles ne le font pas avant longtemps.
En 2026, les valeurs ont considérablement augmenté. Cependant, ils dépendent fortement du faisceau : le même modèle a obtenu 7,8 et 38,3 % avec différents frameworks de test. Le Prix ARC nécessite donc une structure standard, tandis que les laboratoires débattent des éventuels inconvénients. Les résultats montrent de réels progrès, mais sont médiocres pour classer avec précision deux modèles.