Los agentes de IA crearon software de investigación 60 veces más rápido y se equivocaron en formas que nadie detectó durante semanas

Gran parte de la ciencia se ejecuta en software que fue escrito una vez, para un artículo, por personas sin tiempo para mantenerlo. Un nuevo informe de campo de OpenAI y un conjunto de socios académicos documenta ocho intentos de entregar ese problema a los agentes codificadores de IA, y los resultados son de doble sentido de una manera que vale la pena leer con atención.

Las aceleraciones no son pequeñas. RustQC, que fusionó quince herramientas de control de calidad independientes en un solo programa, redujo la ejecución de 15 horas y 34 minutos a 14 minutos y 54 segundos, más de sesenta veces más rápido. HelixForge, una reescritura que trasladó la generación de datos genómicos a tarjetas gráficas, finalizó un proceso de prueba 59,6 veces más rápido que la herramienta que reemplazó. Una reconstrucción del alineador del genoma STAR, más de 20.000 líneas de C y C++ que ya nadie mantiene, se reimplementó en el lenguaje Rust y coincidió con el original en el 99,815 por ciento de las lecturas de prueba.

Luego la otra mitad. En una reescritura de un paquete de estadísticas llamado bayesm, un agente invirtió un parámetro de control para que el programa usara silenciosamente el recíproco de los valores previstos, y un segundo error se encontraba en el cálculo mismo. Ninguno de los dos apareció en la producción ordinaria. Los investigadores solo los encontraron ejecutando una prueba de calibración con miles de conjuntos de datos sintéticos con respuestas conocidas. Philip Ewels, quien dirigió RustQC, describió a los agentes como “elocuentes, convincentes y confiadamente equivocados en formas que son fáciles de pasar por alto”, y nunca dejó que un modelo juzgara su propia precisión.

Qué hay detrás de esto. La división del trabajo que funcionó fue consistente en los ocho proyectos: los humanos definieron el objetivo, los criterios de éxito y las pruebas, los agentes escribieron el código. Ese ordenamiento es todo el hallazgo. Un agente de codificación optimiza para producir algo que se ejecute y pase cualquier control que se le dé, lo cual es un objetivo diferente al de producir algo correcto. Cuando la prueba es un conjunto de pruebas que los humanos diseñaron de forma independiente, los dos objetivos se alinean. Cuando se le pide al modelo que evalúe su propio trabajo, se desmoronan y el fracaso es silencioso porque el resultado todavía parece plausible. Esto no es exclusivo de la ciencia. Un estudio realizado por METR encontró que los encargados reales del proyecto rechazarían aproximadamente la mitad de las soluciones que un benchmark de codificación ampliamente utilizado califica como aprobadas. Los autores del informe tienen cuidado de decir que sus ocho casos no son un estudio representativo y señalan un segundo problema: las reescrituras baratas son fáciles de producir y costosas de mantener para siempre.

Qué significa esto para ti: el patrón se transfiere directamente a cualquier cosa que delegues en un modelo, ya sea código, una hoja de cálculo o un resumen de investigación. Decida cómo verificará el resultado antes de solicitarlo y haga la verificación independiente de lo que se está verificando. Preguntar a un modelo si su propia respuesta es correcta es casi inútil, porque el mismo razonamiento que produjo el error la respaldará. Para cualquiera que escriba código, la versión concreta es que el tiempo ahorrado en la escritura tiende a reaparecer como tiempo dedicado a la revisión, y los proyectos aquí que salieron bien son aquellos en los que alguien construyó el arnés de prueba primero.

Fuentes

• OpenAI: Computación científica en la era de la IA agente, informe de campo (PDF)
• El Decodificador: Los agentes codificadores de IA pueden modernizar el software de investigación pero no pueden juzgar si la ciencia es correcta
• El Decodificador: La mitad del código escrito por IA que pasa una prueba de la industria sería rechazado por desarrolladores reales