Le texte invisible dans un e-mail a trompé un synthétiseur IA dans les 10 exécutions
Forcepoint a masqué les instructions dans un e-mail en utilisant du texte blanc avec une taille de police nulle. Le lecteur n'a rien vu d'inhabituel. Le résumé d’IA a signalé à chaque fois une fausse facture de 46 200 euros et un faux délai.
Les chercheurs en sécurité de Forcepoint ont créé un petit résumé d’e-mails IA, le genre d’outil qui se trouve dans votre boîte de réception et vous donne une version sur deux lignes d’un long message. Ensuite, ils lui ont envoyé un e-mail contenant des instructions cachées. Le lecteur a vu un rappel de facture normal. L’IA a lu tout autre chose et a produit un résumé avec le mauvais montant, le mauvais délai et un nom manquant. Dans dix courses sur dix.
L’astuce est d’une simplicité presque ennuyeuse. L’attaquant a enveloppé un paragraphe d’instructions en anglais simple dans un format HTML stylisé avec font-size:0px; couleur :#ffffff ; hauteur de ligne : 0. Texte blanc, hauteur nulle, invisible dans Outlook. Mais le style n’affecte que ce que voient vos yeux. Le texte brut voyage toujours avec le message, et le résumé a été alimenté par le texte brut. Sur les 1 009 caractères transmis au modèle, 537 étaient visibles par l’humain et 472 étaient l’injection cachée.
Les résultats ont été mesurés correctement, les critères de réussite et d’échec étant notés avant le début des essais. L’e-mail propre a produit le résumé correct dix fois. L’e-mail injecté citait dix fois sur dix un faux montant de facture de 46 200 euros et un faux délai du 3 septembre, tout en laissant tomber à chaque fois le véritable délai et le vrai nom du contact. Les instructions cachées indiquaient également au modèle de ne pas mentionner l’avis, et il obéit : aucun résumé ne laissait entendre que quoi que ce soit ait été falsifié. Le résumé a fonctionné sur claude-haiku-4-5, et Forcepoint s’attend au même résultat de n’importe quel modèle dans un pipeline construit de manière aussi vague.
Que se passe-t-il réellement ici : il s’agit d’une injection de prompt indirecte, un problème mentionné par Simon Willison en 2022 et qui figure en tête de la liste des risques OWASP pour les modèles de langage. Un modèle de langage ne dispose d’aucun moyen fiable pour faire la différence entre « le contenu que je dois résumer » et les « instructions que je dois suivre ». Il ne voit qu’un long bloc de texte. Lorsque vous collez un e-mail, une page Web ou un PDF dans un modèle, tout ce qui y est écrit fait l’objet d’un vote sur ce que fait ensuite le modèle. Forcepoint a délibérément construit la version la plus vulnérable possible, sans garde-fous, sans séparation entre les en-têtes et le corps des e-mails, et avec une invite système sur une seule ligne. C’est le but de l’expérience : elle montre ce qui se passe lorsque personne n’y pense, ce qui décrit de nombreuses fonctionnalités d’IA rapidement construites.
Ce que cela signifie pour vous : si vous utilisez une fonctionnalité de résumé IA pour les e-mails, considérez le résumé comme une commodité et non comme un enregistrement. Avant de payer une facture, de convenir d’un délai ou de transmettre quelque chose, ouvrez le message d’origine et lisez vous-même les chiffres. Cette seule habitude va à l’encontre de toute cette attaque. Si vous créez ces outils, les correctifs sont connus : transmettez au modèle uniquement le texte réellement affiché à l’utilisateur, gardez les en-têtes et le corps séparés, marquez tout ce qui est récupéré de l’extérieur comme non fiable et ne laissez jamais un synthétiseur agir sur une boîte aux lettres. Il convient de savoir qu’il s’agissait d’un message, d’un modèle, de dix essais à température zéro, il s’agit donc d’une démonstration claire plutôt que d’une mesure de la fréquence de l’attaque dans la nature. Forcepoint a trouvé séparément des charges utiles d’injection réelles, ce n’est donc pas hypothétique non plus.
Sources
Sources: https://www.forcepoint.com/blog/x-labs/html-payload-hijacks-email-summarizer
80 artistes britanniques demandent une chose : la propriété légale de leur propre voix
Des acteurs et des musiciens, dont Hugh Bonneville et Nicola Coughlan, souhaitent que la voix soit ajoutée aux droits statutaires au Royaume-Uni, comme c'est déjà le cas pour un nom ou une image. La campagne cite 28 % des adultes britanniques ciblés par des escroqueries par clonage vocal.
