Un modelo 28 veces más barato encontró tres cuartas partes de los errores y omitió la mitad de los de seguridad
Entelligence ejecutó GPT-5.6 Luna y GPT-6 Astra en las mismas 50 solicitudes de extracción de proyectos reales de código abierto. El modelo barato resistió errores comunes y fracasó en seguridad, lo cual es una forma útil de conocer.
Entelligence publicó una comparación esta semana que responde a una pregunta con la que muchos equipos están luchando silenciosamente: ¿cuánto se pierde realmente al usar el modelo barato? Tomaron 50 solicitudes de extracción reales, los cambios de código propuestos que los desarrolladores envían para su revisión, de proyectos que incluyen Sentry, Discourse, Keycloak, Cal.com y Grafana. Luego enviaron cada uno a GPT-5.6 Luna y GPT-6 Astra con instrucciones idénticas y contaron los defectos genuinos que encontró cada uno.
Astra encontró 92 errores verificados, Luna encontró 69. El costo por revisión fue de 0,113 dólares para Astra y 0,0041 para Luna, una diferencia de aproximadamente 28 veces, y Luna también fue más rápido, 23 segundos contra 36. Tomado como titular, suena como una victoria fácil para el modelo barato. El desglose dice lo contrario. En datos ordinarios y errores lógicos, los dos estaban cerca. Sobre la concurrencia, la clase de error donde suceden dos cosas a la vez y se pisan, Luna resbaló. En cuanto a los defectos de seguridad, cayó: 9 de 24 encontrados, frente a los 19 del Astra. La precisión, es decir, con qué frecuencia un problema informado era real en lugar de ruido, fue del 74 por ciento para Luna y del 96 por ciento para Astra, por lo que el crítico barato también desperdicia más atención. El equipo verificó los hallazgos haciendo que otros dos modelos juzgaran de forma independiente y exigiéndoles que estuvieran de acuerdo, lo cual es un método razonable y también, para ser justos, circular: los modelos califican los modelos.
¿Qué hay detrás de esto?
El patrón se ajusta a lo que sabemos sobre en qué se diferencian los modelos pequeños y grandes. Encontrar una verificación nula que falta se acerca a la coincidencia de patrones, y los modelos pequeños son buenos para la coincidencia de patrones. Encontrar una falla de seguridad generalmente significa tener varias cosas en mente a la vez, rastrear de dónde provienen los datos, imaginar a un atacante y razonar sobre lo que sucede dos pasos después. Esa es la capacidad que primero se reduce cuando un modelo se vuelve más barato. Así que la pregunta correcta no es “¿es el modelo barato lo suficientemente bueno?” sino “suficientemente bueno en qué”, y la respuesta aquí tiene una forma clara: sí para la corrección diaria, no para cualquier cosa en la que equivocarse sea costoso.
Qué significa esto para usted: Si revisa el código con IA, la configuración sensata es ambas en lugar de cualquiera de las dos. Ejecute el modelo barato en todo como primera pasada, ya que a cuatro décimas de centavo por revisión no hay razón para no hacerlo, y reserve el modelo costoso para cambios que afecten a la autenticación, permisos, pagos o cualquier cosa que maneje datos de extraños. Si no se escribe código, la lección transferible vale más que el punto de referencia: los modelos baratos no son uniformemente peores, son peores en lugares específicos, y esos lugares tienden a ser los que necesitan varios pasos de razonamiento cuidadoso. Es útil tener esto en cuenta siempre que elija entre el nivel rápido y gratuito y el lento y pago para su propio trabajo.
Fuentes
DeepMind le dio a 100 agentes la misma tarea de matemáticas y se dividieron en tramposos y soplones
Un agente encontró un agujero en el sistema de calificación y, en 27 minutos, las pruebas falsas habían eliminado todos los problemas restantes. Los 100 agentes utilizaron pesos de modelo idénticos, pero el 14 por ciento hizo trampa, el 24 por ciento presentó informes de errores y la mayoría nunca se dio cuenta.
