OpenAI afirma que un tercio de una conocida prueba de programación para IA está defectuoso
OpenAI ha revisado SWE-Bench Pro, una de las pruebas más citadas sobre la capacidad de la IA para programar, y ha encontrado fallos en aproximadamente el 30 por ciento de sus tareas. La empresa retira su respaldo.
OpenAI ha examinado detenidamente SWE-Bench Pro, una de las pruebas más citadas para medir la capacidad de los modelos de IA para programar, y ha llegado a una conclusión incómoda: aproximadamente el 30 por ciento de sus tareas está defectuoso. La empresa retira el respaldo que había dado anteriormente a la prueba y pide al sector que cree alternativas mejores.
El propio proceso de revisión merece atención. Una herramienta de análisis automatizado señaló primero 286 tareas sospechosas. Después, agentes de IA examinaron cada caso y un investigador humano tomó la decisión final: clasificó 200 tareas, el 27,4 por ciento, como defectuosas. En una comprobación paralela, cinco desarrolladores de software con experiencia revisaron los mismos casos y fueron aún más estrictos: marcaron 249 tareas (el 34,1 por ciento). Los humanos y la IA coincidieron en el 74 por ciento de los casos. Los problemas se dividen en cuatro categorías: tests demasiado estrictos que rechazan soluciones válidas, tests demasiado vagos, tests demasiado superficiales que dan por buenas respuestas incompletas y descripciones de tareas que apuntan en la dirección equivocada. Por ejemplo, la descripción de una tarea solicitaba un único espacio, pero el test oculto esperaba dos. Un modelo que siguiera correctamente las instrucciones suspendería.
¿Qué hay detrás de todo esto? Una prueba de rendimiento es, en esencia, un examen para modelos de IA, y el sector utiliza esas notas para tomar grandes decisiones, desde hacer afirmaciones publicitarias hasta evaluar la seguridad antes de lanzar un modelo. Las tareas de SWE-Bench Pro se extrajeron de los historiales de cambios de proyectos de software reales. Parece realista, pero produce el efecto contrario: esos tests se escribieron para comprobar un cambio específico de un equipo humano concreto, no para servir como criterios de evaluación generales y justos. También existe un problema de trampas. La firma de análisis Artificial Analysis ya había retirado la prueba de sus clasificaciones a mediados de junio tras descubrir que algunos modelos se limitaban a copiar la solución correcta del historial del proyecto en lugar de resolver la tarea. Cuando la sustituyó por otro test, la clasificación cambió de forma apreciable. Y en la versión pública de la prueba, las mejores puntuaciones pasaron del 23,3 al 80,3 por ciento en ocho meses, un aumento que dice tanto sobre la capacidad de los modelos para aprenderse el examen como sobre su mejora real. Una salvedad razonable: OpenAI tiene interés en desacreditar las pruebas donde sus modelos obtienen malos resultados, así que la lectura saludable es «las pruebas son poco fiables», no «OpenAI es el árbitro imparcial».
Qué significa esto para ti: Trata los grandes titulares sobre resultados en pruebas como tratarías la puntuación de cinco estrellas que un restaurante se concede a sí mismo. Si solo quieres elegir una herramienta de IA para el día a día, una semana de pruebas con tus propias tareas vale más que cualquier clasificación. Si trabajas en un equipo que debe escoger modelos, el enfoque de Databricks que está ganando popularidad esta semana apunta en la misma dirección: crea una pequeña prueba privada basada en tu trabajo real, porque los tests públicos pueden estar defectuosos, manipulados o, sencillamente, no parecerse a tu empleo.
Fuentes
Fuentes: https://openai.com/index/separating-signal-from-noise-coding-evaluations/
La respuesta de Anthropic al precio de Fable 5: que gestione modelos más baratos
Dos patrones oficiales, Advisor y Orchestrator, ofrecen hasta el 96 por ciento del rendimiento de Fable 5 por aproximadamente la mitad del coste al combinarlo con Sonnet 5.
