Las habilidades mejoran a los agentes de IA al entregarles una lista de verificación, no hechos. Y dejan de funcionar a las 100 entradas

Las habilidades se han convertido silenciosamente en la forma estándar de mejorar a un agente de IA en algo sin necesidad de volver a capacitarlo. Usted escribe cómo se realiza una tarea, el agente la lee cuando surge la tarea. Un estudio de la Universidad de Princeton, UC San Diego y otras escuelas, publicado el 22 de agosto, es el primero en preguntar detenidamente por qué funciona. La respuesta no es la que la mayoría de la gente supone.

Los investigadores compararon agentes que resolvían tareas idénticas con y sin habilidad, en 8.135 ejecuciones de prueba. En el 65,7 por ciento de los casos en los que la habilidad ayudó, la razón fue lo que llaman conexión a tierra procesal: la habilidad le decía al agente qué pasos ejecutar, qué herramientas y en qué orden y qué comprobaciones realizar a lo largo del camino. El suministro de datos faltantes representó sólo el 4,5 por ciento.

En términos sencillos: una habilidad funciona como una lista de verificación, no como una enciclopedia. No le enseña al modelo algo que no sabía. Evita que el modelo improvise el orden de las operaciones, que es donde los agentes tienden a caer. Los errores que desaparecen son los aburridos, como configurar mal un entorno de trabajo o producir resultados en el formato incorrecto.

Las dos formas en que las habilidades resultan contraproducentes

Las habilidades también introducen sus propios fracasos. En el 10 por ciento de los casos, el agente aplicó mecánicamente un manual que de otro modo sería sensato, en una situación en la que no encajaba. Curiosamente, una coincidencia exacta no es necesaria ni suficiente. Una habilidad vagamente relacionada a menudo da suficiente dirección, mientras que una que coincide perfectamente aún puede seguirse de manera demasiado literal.

El mayor problema es encontrar la habilidad adecuada. Cuando la biblioteca creció de 5 entradas a 100, la precisión de recuperación en el uso real cayó del 29,6 por ciento al 3,3 por ciento. Las opciones que suenan similares entre sí hacen que la elección sea más difícil, no más fácil. Por lo tanto, cuantas más habilidades escriba, menos confiable será que su agente elija la correcta, lo cual es un hallazgo incómodo para cualquiera que esté ocupado construyendo una biblioteca grande.

Los autores sostienen que las habilidades deberían tratarse como un ciclo de vida y no como un montón. Mejores agentes de superación personal surgirán de formas más confiables de crear, recuperar y aplicar habilidades, no de almacenar más de ellas. Vale la pena mantener las expectativas firmes: se trata de experimentos controlados sobre tareas de referencia, y los números de recuperación dependen del método utilizado para buscar en la biblioteca.

Qué significa esto para ti: Si nunca has escrito una habilidad, la conclusión es alentadora. No es necesario ser un experto en el tema para ayudar a un agente. Anotar los pasos que seguirías, en orden, es la mayor parte del valor. Si ya mantiene un conjunto de habilidades, la advertencia es concreta: mantenga la biblioteca pequeña y las descripciones claramente diferenciadas entre sí. Diez entradas redactadas con claridad superarán a sesenta que se superponen, y el estudio ahora arroja números sobre el motivo.

Fuentes

• Comprensión de las habilidades del agente: fundamentos procesales y límites de recuperación, preimpresión de arXiv 2608.14036
• El estudio explica por qué los agentes de IA se benefician de las “habilidades” y cuándo fallan, The Decoder