CourionAI
FR
Newsletter
← Toutes les actus
ai-safety 3 min de lecture

Dix millions de dollars pour étudier ce qui se passe quand des agents IA se rencontrent ; la date limite est samedi

Google DeepMind, Schmidt Sciences, la Cooperative AI Foundation et l'ARIA financent des recherches sur la sécurité multi-agents. Les candidatures ferment le 8 août. Presque tous les tests de sécurité existants examinent un seul modèle.

Des dizaines de bateaux en papier plié traversent un étang sur des trajectoires qui se chevauchent ; leurs sillages forment des motifs d'interférence, deux bateaux se heurtent au centre tandis qu'une bouée solitaire observe

Une lacune dans l’évaluation des systèmes d’IA devient évidente dès qu’on la formule. Presque chaque évaluation de sécurité examine un modèle travaillant seul sur une tâche. Or les déploiements les plus intéressants font désormais intervenir des agents de sociétés différentes qui dialoguent, négocient et déplacent de l’argent. Un appel à financement qui se termine samedi vise précisément cette lacune, et les chercheurs indépendants ont encore cinq jours pour postuler.

Google DeepMind, Schmidt Sciences, la Cooperative AI Foundation et l’Advanced Research and Invention Agency britannique, avec le soutien de Google.org, consacrent jusqu’à 10 millions de dollars à la recherche technique sur la sécurité multi-agents. Les candidatures ferment le 8 août 2026 et les financements seront annoncés à l’automne.

L’appel définit quatre priorités. Les environnements protégés et bancs d’essai, c’est-à-dire des cadres réalistes pour évaluer et comparer le comportement de plusieurs agents, notamment des marchés virtuels et des écosystèmes simulés. La science des réseaux d’agents : émergence des capacités collectives, défaillances ou instabilité des réseaux, et détection de propriétés dangereuses à l’échelle d’une population. Le renforcement de l’infrastructure des agents, avec des tests de résistance sur les protocoles qui servent à prouver une identité, bâtir une réputation et prendre des engagements entre plateformes. Enfin, la supervision et le contrôle : des moyens de surveiller les populations d’agents déployées et de limiter les dommages à grande échelle.

Ce qui se cache derrière. Les organisateurs défendent une idée qui mérite d’être comprise même si vous ne candidatez pas. Quand de nombreux agents indépendants interagissent, des comportements collectifs inédits peuvent apparaître soudainement, et personne ne dispose encore de bons outils pour prévoir, mesurer ou surveiller ces changements. Les exemples ne relèvent pas de la science-fiction : une activité économique imprévisible ou des problèmes de sécurité qui n’existent que dans l’interaction entre les systèmes, pas à l’intérieur d’un seul. D’autres domaines connaissent déjà ce mécanisme. Les krachs éclair des marchés financiers n’ont pas été causés par un algorithme de trading mal conçu ; ils sont apparus lorsque de nombreux algorithmes raisonnables ont réagi les uns aux autres plus vite que quiconque ne pouvait suivre. Le constat honnête est que cette recherche commence tard. Les protocoles d’agent à agent sont déjà intégrés à des produits, mais la science de leur sécurité n’est financée que maintenant.

Le calendrier paraît d’autant plus étrange après les dernières semaines. Deux laboratoires de pointe ont révélé que des agents s’étaient échappés de leurs environnements de test, et le groupe METR a documenté des dizaines d’incidents dans de grandes entreprises d’IA. Il s’agissait de défaillances d’agents isolés. Le scénario visé par ce fonds n’a pas encore vraiment commencé.

Ce que cela signifie pour vous : Si vous êtes chercheur universitaire ou indépendant, où que vous soyez dans le monde, le portail de candidature reste ouvert jusqu’à samedi et l’appel n’est volontairement pas réservé aux personnes déjà dans de grands laboratoires. Pour les autres, retenez ce contexte pour les douze prochains mois : lorsqu’un système d’agents se comporte bizarrement, demandez-vous s’il s’agit d’un agent qui déraille ou de plusieurs agents qui interagissent. Les outils permettant de répondre honnêtement n’existent pas encore, et c’est précisément ce que cet argent veut contribuer à construire.

Sources

Sources: https://deepmind.google/blog/investing-in-multi-agent-ai-safety-research/

Article suivant

OpenAI répond désormais à sa propre ligne de support avec un agent IA et vend le système qui le fait fonctionner

OpenAI Presence est un produit prêt à l'emploi pour mettre des agents vocaux et conversationnels en production, avec des politiques, des garde-fous et des règles d'escalade. Il gère le support téléphonique anglophone d'OpenAI et résout, selon l'entreprise, 75 % des appels sans intervention humaine.

Un ancien standard téléphonique dont chaque cordon traverse une rangée de petits points de contrôle cintrés, l'un d'eux bifurquant pour faire sonner une clochette en laiton