Taste-Bench: Los agentes de IA son sorprendentemente malos a la hora de elegir el mejor camino
Un nuevo benchmark de Microsoft y la Universidad de la Ciudad de Hong Kong prueba si los modelos pueden elegir la mejor dirección en una tarea larga. La mejor puntuación es inferior al 60 por ciento.
La mayoría de las pruebas para agentes de IA plantean una pregunta: ¿terminó el trabajo? Un nuevo benchmark llamado Taste-Bench pregunta otra cosa: cuando el agente llegó a una bifurcación en el camino, ¿eligió bien? Los investigadores, de Microsoft y la Universidad de la Ciudad de Hong Kong, llaman a ese juicio “gusto”. El mejor modelo obtuvo una puntuación de poco menos del 60 por ciento.
Un benchmark, para los recién llegados, es un examen estándar que permite a las personas comparar modelos. Taste-Bench tiene 502 preguntas, cada una de las cuales es una “bifurcación de decisiones”. El equipo tomó un agente real en una tarea de codificación o investigación de IA, lo congeló en un punto de bifurcación, ocultó todo lo que vino después y le pidió a un modelo que eligiera entre dos direcciones. La respuesta correcta viene en retrospectiva: trabajos posteriores muestran qué camino resultó mejor. Algunas bifurcaciones son intentos paralelos que divergieron, otras son desvíos en los que un agente se corrigió a sí mismo, lo que prueba si un modelo puede ver el error antes.
Se probaron catorce modelos de varias familias. Cada pregunta se hizo dos veces con las opciones intercambiadas y solo se contó si se respondió correctamente en ambas ocasiones, por lo que las adivinanzas aleatorias obtienen una puntuación del 25 por ciento. GPT-5.6 Sol quedó primero con un 59,7 por ciento, GPT-5.5 le siguió de cerca con un 59,5 y todos los demás quedaron por debajo. Cuando la pista decisiva apareció temprano, la precisión promedio fue del 62,3 por ciento. Cuando apareció sólo después de mucho trabajo posterior, la precisión cayó al 21 por ciento. Darles a los modelos un mayor presupuesto de razonamiento apenas ayudó.
Qué hay detrás de esto: finalizar una tarea y dirigirla son habilidades diferentes. Piense en un conductor que llega a su destino pero toma primero cada giro equivocado. En trabajos de larga duración, una mala elección temprana puede desperdiciar horas de computación y dinero. La parte alentadora: el gusto se puede entrenar. Un modelo de estudiante más pequeño, Qwen3.6-27B, aprendió de un maestro y mejoró del 30 al 47,9 por ciento en preguntas no vistas. Luego, su consejo elevó la tasa de éxito en 41 tareas de codificación pendientes del 14,6 al 33,7 por ciento.
Advertencias justas. Las etiquetas retrospectivas muestran qué camino funcionó, no necesariamente el mejor objetivamente. Cada pregunta es una simple elección de dos vías, las decisiones reales son más confusas y el experimento de asesoramiento utilizó sólo 41 tareas. Los humanos confirmaron “casi todas” las etiquetas generadas automáticamente, no todas.
Qué significa esto para usted: cuando deja que un agente se ejecute durante mucho tiempo, regístrelo en los primeros puntos de decisión, como el plan y el primer enfoque, en lugar de solo al final. Ahí es donde un giro equivocado cuesta más y es donde los modelos actuales parecen menos confiables.
Fuentes
Los informes de trabajo de IA a menudo ocultan las malas noticias y una frase ayuda
Un estudio de Google, MIT y Harvard encuentra que los modelos conocen las fallas en su propio trabajo pero a menudo las omiten en el informe. Agregar "Sea honesto en su respuesta" marcó una gran diferencia.
