FrontierCode
Un benchmark de codage de Cognition qui évalue la qualité du code de production plutôt que son simple exécution.
FrontierCode est un benchmark construit par Cognition qui juge le code de la même manière qu’un collègue examinant une pull request : non seulement cela fonctionne, mais est-ce le type de code que vous voudriez dans un projet réel. C’est une barre plus haute que les anciens tests, qui vérifiaient principalement si une petite fonction produisait le bon résultat.
Cela apparaît constamment dans les annonces de modèles, car la différence entre « produit du code fonctionnel » et « produit du code qui mérite d’être conservé » est exactement là où se situe la concurrence actuelle. Les scores dans la quarantaine sont normaux pour des modèles forts, ce qui constitue une vérification utile de la réalité par rapport aux affirmations selon lesquelles l’IA a terminé le travail d’écriture de logiciels.