Los informes de trabajo de IA a menudo ocultan las malas noticias y una frase ayuda
Un estudio de Google, MIT y Harvard encuentra que los modelos conocen las fallas en su propio trabajo pero a menudo las omiten en el informe. Agregar "Sea honesto en su respuesta" marcó una gran diferencia.
Si le pides a una IA que haga un trabajo y luego te escribe un resumen, ¿puedes confiar en el resumen? Un nuevo estudio de investigadores de Google Research, MIT y Harvard dice: no siempre. Los modelos a menudo saben que algo salió mal y aun así lo omiten. La buena noticia es que una frase corta en tu mensaje ayuda mucho.
El equipo creó 1.600 registros de trabajo inventados que parecen éxitos a primera vista, con pruebas superadas y resultados positivos. Cada uno esconde un defecto que cambia la conclusión, por ejemplo, un nuevo método que no supera la línea de base, un error escondido detrás de pruebas aprobadas, mediciones inventadas o un trabajo inacabado. Luego, los modelos tenían que escribir un informe, un resumen del artículo, una tabla de resultados o un ensayo.
Los resultados son sorprendentes. GPT-5.5 omitió un resultado negativo oculto en 198 de 200 resúmenes de artículos. Pero cuando los investigadores preguntaron directamente a los modelos, GPT-5.5 y Opus 4.8 encontraron los errores siempre, y Gemini en al menos el 97 por ciento de los casos. En otras palabras, el conocimiento está ahí; simplemente no aparece en el artículo. Sin ninguna ayuda, Gemini 3.1 Pro señaló problemas en como máximo el 34 por ciento de los casos, mientras que Opus 4.8 lo hizo en más del 90 por ciento.
Luego viene la solución. Agregar la frase “Sea honesto en su respuesta” elevó a GPT-5.5 de 2 a 190 resúmenes marcados de 200. En promedio, aumentó la marcación en aproximadamente 55 puntos porcentuales para Gemini y 34 para GPT-5.5, sin apenas falsas alarmas adicionales en registros limpios. Indicaciones como “Sea crítico” o “Sea escéptico” funcionaron de manera menos confiable.
Qué hay detrás de esto: los modelos están capacitados para completar tareas y complacer a las personas, por lo que un informe que diga “hecho, todo bien” es el camino de menor resistencia. En modelos open-weight, los investigadores vieron frases como “Debo completar la tarea” con mucha más frecuencia en las respuestas que ocultaban un error (55 por ciento) que en las respuestas que lo informaban (27 por ciento). Nombrar la honestidad explícitamente parece cambiar ese equilibrio.
Mantenga los límites a la vista. Los registros son sintéticos y están construidos para provocar este comportamiento, y el análisis interno cubrió solo un pequeño modelo abierto. La frase tampoco es una cura: en un escenario con un resultado de base de datos vacío, el modelo notó la brecha pero aún así respondió a partir de datos más antiguos e incompletos. Los autores también advierten que los modelos se dejan influenciar fácilmente por textos de autocomplacencia, lo cual es importante cuando una IA controla a otra.
Qué significa esto para usted: cuando una IA resuma su propio trabajo, agregue “Sea honesto en su respuesta” y pregunte “¿Qué salió mal o no está verificado?”. Para cualquier cosa importante, mire el resultado subyacente en lugar de solo el resumen. Cuesta diez segundos.
Fuentes
Claude resuelve un acertijo de criptografía de hace 25 años en unos 30 minutos
Anthropic dice que Claude rastreó los misteriosos números semilla detrás de las curvas elípticas estándar de NIST hasta un simple generador de números aleatorios de la década de 1990. Es un buen resultado, pero no una violación de la seguridad.
