Unsichtbarer Text in einer E-Mail hat einen KI-Zusammenfassungsrechner in allen 10 Durchläufen getäuscht
Forcepoint versteckte Anweisungen in einer E-Mail mit weißem Text und einer Schriftgröße von Null. Der Leser sah nichts Ungewöhnliches. Die KI-Zusammenfassung meldete jedes Mal eine gefälschte Rechnung über 46.200 Euro und eine gefälschte Frist.
Die Sicherheitsforscher von Forcepoint haben einen kleinen KI-E-Mail-Zusammenfassungstool entwickelt, ein Tool, das sich in Ihrem Posteingang befindet und Ihnen eine zweizeilige Version einer langen Nachricht liefert. Dann schickten sie ihm eine E-Mail mit darin versteckten Anweisungen. Der Leser sah eine normale Rechnungserinnerung. Die KI hat etwas ganz anderes gelesen und eine Zusammenfassung mit dem falschen Betrag, der falschen Frist und einem fehlenden Namen erstellt. In zehn von zehn Läufen.
Der Trick ist fast langweilig einfach. Der Angreifer hat einen Absatz mit einfachen englischen Anweisungen in HTML mit dem Format „font-size:0px;“ verpackt. Farbe:#ffffff; Zeilenhöhe:0`. Weißer Text, Höhe Null, in Outlook unsichtbar. Aber das Styling beeinflusst nur das, was Ihre Augen sehen. Der Rohtext wird weiterhin mit der Nachricht übertragen, und der Zusammenfassende wurde mit dem Rohtext gefüttert. Von den 1.009 an das Modell übergebenen Zeichen waren 537 für den Menschen sichtbar und 472 waren die versteckte Injektion.
Die Ergebnisse wurden ordnungsgemäß gemessen, wobei die Bestehens- und Nichtbestehenskriterien vor Beginn der Läufe notiert wurden. Die saubere E-Mail lieferte alle zehn Mal die richtige Zusammenfassung. In zehn von zehn Fällen wurden in der eingeschleusten E-Mail ein gefälschter Rechnungsbetrag von 46.200 EUR und eine gefälschte Frist vom 3. September genannt, wobei jedes Mal die tatsächliche Frist und der tatsächliche Kontaktname weggelassen wurden. Die versteckten Anweisungen forderten das Modell außerdem auf, den Hinweis nicht zu erwähnen, und es gehorchte: Keine einzige Zusammenfassung deutete darauf hin, dass irgendetwas manipuliert worden war. Die Zusammenfassung lief auf claude-haiku-4-5, und Forcepoint erwartet das gleiche Ergebnis von jedem Modell in einer Pipeline, die so lose aufgebaut ist.
Was hier eigentlich vor sich geht: Dies ist die indirekte Prompt-Injection, ein Problem, das Simon Willison bereits 2022 benannt hat und das ganz oben auf der OWASP-Risikoliste für Sprachmodelle steht. Ein Sprachmodell verfügt über keine zuverlässige Möglichkeit, den Unterschied zwischen „Inhalten, die ich zusammenfassen sollte“ und „Anweisungen, die ich befolgen sollte“ zu erkennen. Es sieht nur einen langen Textblock. Wenn Sie eine E-Mail, eine Webseite oder ein PDF in ein Modell einfügen, wird über alles, was darin geschrieben steht, darüber abgestimmt, was das Modell als Nächstes tut. Forcepoint hat bewusst die anfälligste Version entwickelt, die möglich ist, ohne Leitplanken, ohne Trennung zwischen den E-Mail-Headern und dem Textkörper und einer einzeiligen Systemaufforderung. Das ist der Sinn des Experiments: Es zeigt, was passiert, wenn niemand darüber nachdenkt, was viele schnell erstellte KI-Funktionen beschreibt.
Was das für Sie bedeutet: Wenn Sie eine KI-Zusammenfassungsfunktion für E-Mails verwenden, betrachten Sie die Zusammenfassung als Annehmlichkeit und nicht als Aufzeichnung. Bevor Sie eine Rechnung bezahlen, eine Frist vereinbaren oder etwas weiterleiten, öffnen Sie die Originalnachricht und lesen Sie die Zahlen selbst durch. Diese einzelne Angewohnheit macht diesen gesamten Angriff zunichte. Wenn Sie diese Tools erstellen, sind die Korrekturen bekannt: Übergeben Sie dem Modell nur den Text, der dem Benutzer tatsächlich angezeigt wird, halten Sie Kopfzeilen und Text getrennt, kennzeichnen Sie alles, was von außen abgerufen wird, als nicht vertrauenswürdig und lassen Sie niemals zu, dass ein Zusammenfassender Aktionen für ein Postfach ausführt. Wissenswert ist, dass es sich hierbei um eine Meldung, ein Modell und zehn Durchläufe bei Temperatur Null handelte. Es handelt sich also eher um eine klare Demonstration als um eine Messung der Häufigkeit des Angriffs in freier Wildbahn. Forcepoint hat separat tatsächliche Injektionsnutzlasten gefunden, daher ist dies auch nicht hypothetisch.
Quellen
Quellen: https://www.forcepoint.com/blog/x-labs/html-payload-hijacks-email-summarizer
80 britische Künstler verlangen eines: das rechtliche Eigentum an ihrer eigenen Stimme
Schauspieler und Musiker, darunter Hugh Bonneville und Nicola Coughlan, möchten, dass die Stimme zu den gesetzlichen Rechten im Vereinigten Königreich hinzugefügt wird, so wie es ein Name oder ein Bild bereits ist. Die Kampagne nennt 28 Prozent der Erwachsenen im Vereinigten Königreich, die Ziel von Voice-Cloning-Betrügereien sind.
