¿Aquella herramienta de IA que «fracasó» hace seis meses? Quizá solo necesitaba más tiempo
El Instituto de Seguridad de la IA del Reino Unido descubrió que la forma habitual de evaluar agentes de IA los infravalora discretamente porque los detenemos demasiado pronto. Si disponen de más tiempo de cálculo, resuelven mucho más. Una explicación clara de por qué esto importa a cualquiera que valore herramientas de IA.
Este hallazgo replantea discretamente muchos titulares sobre IA. El Instituto de Seguridad de la IA del Reino Unido, un organismo público que estudia la seguridad de la IA, afirma que la forma en que medimos los «agentes» de IA, sistemas que ejecutan por su cuenta tareas de varios pasos, los perjudica sistemáticamente. No porque las pruebas estén amañadas, sino porque interrumpimos la IA antes de que termine de pensar.
La idea central resulta intuitiva cuando la entiendes. Un agente mejora cuanto más tiempo le permites trabajar: más intentos, más comprobaciones, más razonamiento. Sin embargo, la mayoría de las pruebas imponen un presupuesto, un límite a la capacidad de cálculo que puede usar el agente, medida en tokens, los fragmentos de texto que procesa una IA. Si lo detienes mientras aún está mejorando, la puntuación refleja el mínimo de su capacidad, no su máximo. Los investigadores comprobaron que, en tareas de corrección de software, la tasa de éxito aumentaba cerca de un 25 % al elevar el presupuesto de un millón a diez millones de tokens. Algunas tareas de seguridad solo pudieron resolverse con 50 millones. El mismo modelo y el mismo problema, pero con margen para seguir intentándolo.
Hay una segunda parte aún más llamativa. Como los presupuestos de tokens siguieron aumentando, la estimación del Instituto sobre la velocidad a la que mejoran las capacidades de la IA relacionadas con la intrusión informática resultó demasiado lenta. Medida con presupuestos generosos, esa capacidad se duplica aproximadamente cada 40 o 50 días, en lugar de cada pocos meses: una diferencia considerable. Es un hallazgo pertinente para la seguridad y un recordatorio de que la forma de medir algo condiciona las conclusiones. Para ser justos, disponer de más cálculo no es una varita mágica: en pruebas con preguntas médicas, los modelos chocaron con un límite que ningún presupuesto pudo superar y, en algunas tareas, los modelos nuevos rindieron peor. El tiempo adicional ayuda sobre todo cuando la IA puede comprobar su propio trabajo, como al ejecutar código y verificar si supera las pruebas.
Qué significa esto para ti: Si probaste hace tiempo un modelo de IA local o una herramienta de agentes y no dio la talla, no la descartes basándote en ese recuerdo: quizá la herramienta era adecuada y la correa demasiado corta. Además, como el precio del cálculo para IA sigue bajando, una capacidad que el año pasado parecía demasiado lenta o cara puede volverse práctica este año sin hacer ruido. El hábito concreto: cuando encomiendes a una IA una tarea realmente difícil, sobre todo si incorpora una comprobación, como unas pruebas o un compilador, déjala trabajar más antes de juzgarla. La paciencia forma ahora parte de saber utilizar bien estas herramientas.
Fuentes
Una IA más pequeña y personalizada superó a GPT y Claude en un trabajo real por una fracción del coste
Un gigantesco fondo de inversión libre y una destacada empresa emergente de IA demostraron que un modelo gratuito y descargable, entrenado con el criterio de sus propios expertos, superó a todas las grandes IA en tareas financieras por aproximadamente una decimocuarta parte del coste. La lección va mucho más allá de Wall Street.
