Un texte Web empoisonné peut installer une porte dérobée de commande cachée dans les agents IA
Un article arXiv avec des auteurs dont Nicholas Carlini montre qu'un texte d'entraînement empoisonné à 0,1 % peut inciter un petit agent à exécuter des commandes d'un attaquant lorsqu'il est déclenché.
Un nouvel article sur arXiv, « Agentic Backdoors via Pretraining Poisoning », rapporte ce que ses auteurs décrivent comme la première démonstration selon laquelle un texte Web implanté peut créer une porte dérobée d’exécution de code à distance dans un agent IA. Huit chercheurs, dont Nicholas Carlini et Javier Rando, l’ont rédigé. En termes simples : un attaquant place un texte spécialement conçu sur l’Internet public, un modèle en tire des leçons plus tard et un agent construit sur ce modèle peut être amené à exécuter les commandes de l’attaquant sur votre ordinateur.
Comment ils l’ont testé : ils ont créé de petits modèles pretrained Qwen3 à partir de zéro (0,6, 1,7 et 4 milliards de paramètres, c’est-à-dire la taille du modèle), puis ont formé chacun d’entre eux à agir en tant qu’agent de ligne de commande. Poisoning 0,1 % des données pretraining suffisaient pour implanter la porte dérobée. L’agent se comporte normalement à moins qu’un déclencheur n’apparaisse, ce qui le rend difficile à repérer. Le succès a augmenté avec la taille du modèle : le modèle 4B a atteint environ 92 % avec un taux d’empoisonnement de 0,1 %, et l’attaque a toujours fonctionné à un taux non nul avec seulement 0,0005 % de données empoisonnées. Le code est publié sur GitHub.
Ce qu’il y a derrière : Les grands modèles s’entraînent sur d’énormes piles de textes Web que personne ne peut lire dans leur intégralité. Une porte dérobée est comme une instruction endormie : inoffensive jusqu’à ce qu’une phrase secrète la réveille. Des recherches antérieures se sont concentrées sur les chatbots disant des choses étranges ; les agents sont plus importants car ils peuvent agir, exécuter des commandes, modifier des fichiers ou envoyer des données. Gardez cependant l’échelle honnête. Ce sont de petits modèles entraînés dans un laboratoire, l’attaque a été conçue par les chercheurs, et ceci est une démonstration de ce qui est possible, pas le rapport d’une attaque dans la nature. Nous ne savons pas non plus dans quelle mesure cela se répercute sur les très vastes ensembles de modèles commerciaux fortement filtrés.
Ce que cela signifie pour vous : Ne paniquez pas et ne changez pas grand-chose aujourd’hui. Les habitudes pratiques sont toujours utiles : lorsqu’un agent peut exécuter des commandes, exécutez-le dans un sandbox ou un compte utilisateur distinct, approuvez les commandes que vous ne reconnaissez pas et gardez-le à l’écart des secrets tels que les mots de passe et les clés. Si vous créez ou affinez des modèles, traitez les données d’entraînement comme faisant partie de votre périmètre de sécurité, et pas seulement comme votre code.
Sources
Sources: https://arxiv.org/abs/2610.37741
Une IA lit et réécrit les poids d'une autre IA, avec des preuves mitigées
Les chercheurs du MIT CSAIL ont laissé le GPT-6 Astra modifier directement les pondérations des réseaux neuronaux. Les premiers résultats sont frappants et un critique affirme qu’un chercheur compétent pourrait faire de même.
