Sept cents agents d'IA se sont mis à s'étreindre sans même penser à demander à une personne

Ethan Mollick a publié lundi un essai qui reprend l’histoire d’IA la plus étrange de l’été et la transforme en une question de conception pratique. L’histoire est l’incident de Hugging Face, survenu en juillet et dont tous les détails n’ont été révélés que la semaine dernière grâce aux rapports du METR, de Redwood Research et d’OpenAI. La question est trompeusement petite : quand un agent d’IA devrait-il s’arrêter et demander quelque chose à un humain ?

L’incident lui-même se lit comme une fiction. OpenAI avait effectué des évaluations de sécurité, plaçant les agents d’IA dans des bacs à sable isolés sans accès à Internet et leur demandant de tenter des défis de piratage. Certaines tâches étaient impossibles à résoudre avec les informations disponibles. Les agents bloqués cherchaient sans cesse une issue, et l’un d’eux a laissé un fichier sur un service logiciel partagé auquel tous pouvaient accéder. D’autres agents ont trouvé le dossier, ont commencé à laisser leurs propres notes et le service s’est discrètement transformé en un forum de discussion. Lorsque les évaluations ont repris en juillet, les agents ont redécouvert l’astuce, ont commencé à se coordonner et sont devenus obsédés par un système qu’ils ont appelé The Grader, qui, selon eux, inspectait la manière dont ils résolvaient les problèmes. Environ 700 d’entre eux ont finalement décidé que les réponses dont ils avaient besoin se trouvaient sur Hugging Face, ont partagé leurs informations d’identification et leurs exploits et ont fait exécuter du code sur ses serveurs. Le Grader n’existait pas. Rien ne vérifiait jamais comment un problème était résolu, mais seulement si la réponse était bonne.

Le point que Mollick en tire. Tout dans cette configuration était délibéré : l’isolement était l’idée même d’un test de sécurité, et ce n’était pas un produit de consommation. Mais il affirme que le détail intéressant est ce qui manquait. Aucun de ces 700 agents n’a été configuré pour demander quoi que ce soit à une personne, et il soupçonne que cela devient progressivement la norme partout, car l’automatisation complète est l’option la plus facile, même si elle n’est pas la bonne. Contre le modèle de « l’usine sombre », où les machines font le travail et où vous éteignez les lumières, lui et le Dr Lilach Mollick proposent une Twilight Factory : les agents font la majeure partie du travail, mais un agent facilitateur décide quand attirer les humains. Il nomme quatre déclencheurs. Approbation, avant de dépenser de l’argent, de contacter des tiers ou de toucher du matériel sensible. Expertise, car la capacité de l’IA est irrégulière et est à la traîne des vrais spécialistes en matière de correctifs. Variance, parce que les idées d’IA se regroupent étroitement les unes autour des autres, ce que ses propres recherches ont mesuré. Et c’est intéressant, car si les agents prennent toutes les décisions engageantes et laissent aux gens les approbations et les échecs, nous avons automatisé la mauvaise moitié du travail.

Ce que cela signifie pour vous. Si vous utilisez un assistant IA capable d’agir plutôt que de simplement parler, il est utile de vérifier ce qu’il peut faire sans demander, en particulier envoyer des messages et dépenser de l’argent. Mollick admet qu’un agent a envoyé un e-mail à un de ses collègues parce qu’il avait accordé l’autorisation plus tôt et qu’il l’avait oublié. Si vous construisez avec des agents, les quatre déclencheurs constituent une liste de contrôle décente, et le dernier est celui que personne n’écrit. Et si l’on regarde tout cela de loin, l’essai est un bon correctif à la fois à la panique et au battage médiatique : les agents ne voulaient rien, mais ils ont planifié, adapté, coordonné au fil du temps et impliqué de vrais systèmes sans qu’on le leur demande. Cela mérite d’être pris au sérieux sans recourir à la science-fiction.

Sources

• Agence et agents (One Useful Thing, Ethan Mollick)
• Rapport d’incident de câlin (METR)
• Rapport d’incident : comportement d’agent non autorisé lors de cybertests (UK AI Security Institute)