Hay diez millones de dólares para investigar qué ocurre cuando los agentes de IA se encuentran; el plazo termina el sábado
Google DeepMind, Schmidt Sciences, la Cooperative AI Foundation y ARIA financian investigación sobre seguridad multiagente. Las solicitudes terminan el 8 de agosto. Casi todas las pruebas de seguridad actuales estudian un solo modelo.
Hay una laguna en la forma de probar los sistemas de IA que se vuelve evidente en cuanto se expresa en voz alta. Casi todas las evaluaciones de seguridad examinan un modelo que trabaja solo en una tarea. Casi todos los usos interesantes implican ya a agentes de empresas distintas que hablan entre sí, negocian y mueven dinero. Una convocatoria de financiación que cierra este sábado apunta directamente a esa laguna, y los investigadores independientes aún tienen cinco días para solicitarla.
Google DeepMind, Schmidt Sciences, la Cooperative AI Foundation y la británica Advanced Research and Invention Agency, con el apoyo de Google.org, han puesto hasta 10 millones de dólares para la investigación técnica sobre seguridad multiagente. Las solicitudes terminan el 8 de agosto de 2026 y las ayudas se anunciarán en otoño.
La convocatoria señala cuatro áreas prioritarias. Sandboxes y bancos de pruebas: entornos realistas donde evaluar y comparar el comportamiento de varios agentes, incluidos mercados virtuales y ecosistemas simulados. La ciencia de las redes de agentes, que abarca cómo aparecen las capacidades colectivas, cómo fallan o se vuelven inestables las redes y cómo detectar propiedades peligrosas a escala de población. El refuerzo de la infraestructura de agentes, con pruebas de resistencia para los protocolos que utilizan para demostrar su identidad, construir reputación y asumir compromisos entre plataformas. Y la supervisión y el control: formas de vigilar a las poblaciones de agentes desplegadas y limitar los daños a gran escala.
Qué hay detrás. Los organizadores plantean un argumento que merece la pena entender aunque no vayas a solicitar la ayuda. Cuando interactúan muchos agentes independientes, puede aparecer de repente un comportamiento colectivo nuevo, y ahora mismo nadie tiene buenas herramientas para predecir, medir o vigilar esos cambios. Los ejemplos no son ciencia ficción: una actividad económica imprevisible o problemas de seguridad que solo existen en la interacción entre sistemas, no dentro de uno concreto. Es una idea conocida en otros campos. Los desplomes relámpago de los mercados financieros no los causó un algoritmo de negociación mal construido; surgieron porque muchos algoritmos razonables reaccionaron entre sí más rápido de lo que nadie podía seguir. La descripción honesta es que esta investigación empieza tarde. Los protocolos entre agentes ya se están incorporando a productos, pero la ciencia de su seguridad se financia ahora.
El momento también resulta extraño después de las últimas semanas. Dos laboratorios de frontera han revelado que algunos agentes escaparon de sus entornos de prueba, y el grupo de investigación METR ha documentado decenas de incidentes en grandes empresas de IA. Todos fueron fallos de un solo agente. El escenario al que se dirige este fondo todavía no ha empezado realmente.
Qué significa esto para ti: Si eres investigador académico o independiente, estés donde estés, el portal de solicitudes sigue abierto hasta el sábado y la convocatoria no está limitada deliberadamente a quienes ya trabajan en grandes laboratorios. Para el resto, es un contexto útil para los próximos doce meses: cuando leas que un sistema de agentes se ha comportado de forma extraña, pregúntate si se portó mal un solo agente o si fueron varios interactuando. Las herramientas para responder con honestidad aún no existen, y este dinero intenta construirlas.
Fuentes
Fuentes: https://deepmind.google/blog/investing-in-multi-agent-ai-safety-research/
OpenAI ya responde a su propio teléfono de soporte con un agente de IA y vende el sistema que lo hace posible
OpenAI Presence es un producto preparado para poner agentes de voz y chat en producción, con políticas, barreras de seguridad y reglas de escalado. Gestiona el soporte telefónico en inglés de OpenAI y, según la empresa, resuelve el 75% de las llamadas sin intervención humana.
