LiveCodeBench
Una codificación benchmark que sigue agregando nuevos problemas para que los modelos no puedan memorizar las respuestas durante el entrenamiento.
Las pruebas de codificación más antiguas tienen un problema de contaminación: los problemas y sus soluciones están en la Internet pública, por lo que es posible que un modelo simplemente los haya leído. LiveCodeBench aborda esto recopilando continuamente nuevos problemas de programación competitivos y puntuando solo un modelo sobre los problemas publicados después de su corte de entrenamiento.
Eso hace que las puntuaciones sean más difíciles de manipular y más fáciles de comparar entre versiones, razón por la cual los laboratorios lo citan. Todavía mide una pequeña porción de programación, resolución de acertijos autónoma y dice poco sobre si un modelo puede funcionar en una gran base de código existente.