LiveCodeBench
Un codage benchmark qui ne cesse d'ajouter de nouveaux problèmes afin que les modèles ne puissent pas mémoriser les réponses pendant la formation.
Les tests de codage plus anciens présentent un problème de contamination : les problèmes et leurs solutions se trouvent sur l’Internet public, donc un modèle peut simplement les avoir lus. LiveCodeBench résout ce problème en collectant continuellement de nouveaux problèmes de programmation compétitifs et en évaluant uniquement un modèle sur les problèmes publiés après la fin de sa formation.
Cela rend les scores plus difficiles à jouer et plus faciles à comparer entre les versions, c’est pourquoi les laboratoires les citent. Il mesure encore une tranche étroite de programmation, de résolution d’énigmes autonome, et ne dit pas grand-chose sur la capacité d’un modèle à fonctionner dans une grande base de code existante.