FrontierCode
Un punto de referencia de codificación de Cognition que califica la calidad del código de producción en lugar de simplemente ejecutarlo.
FrontierCode es un punto de referencia creado por Cognition que juzga el código de la misma manera que lo haría un colega que revisa una solicitud de extracción: no solo funciona, sino que es el tipo de código que desearía en un proyecto real. Se trata de un listón más alto que el de las pruebas anteriores, que en su mayoría comprobaban si una función pequeña producía el resultado correcto.
Aparece constantemente en los anuncios de modelos porque la diferencia entre “produce código funcional” y “produce código que vale la pena conservar” es exactamente donde se encuentra la competencia actual. Las puntuaciones en los cuarenta son normales para modelos fuertes, lo cual es una útil verificación de la realidad frente a las afirmaciones de que la IA ha terminado el trabajo de escribir software.