Vergifteter Webtext kann eine versteckte Befehls-Hintertür in KI-Agenten einschleusen
Ein arXiv-Artikel mit Autoren wie Nicholas Carlini zeigt, dass 0,1 % vergifteter Trainingstext einen kleinen Agenten dazu veranlassen kann, Angreiferbefehle auszuführen, wenn er ausgelöst wird.
In einem neuen Artikel zu arXiv, „Agentic Backdoors via Pretraining Poisoning“, wird berichtet, was die Autoren als die erste Demonstration beschreiben, dass eingeschmuggelter Webtext eine Hintertür zur Remote-Codeausführung in einem KI-Agenten erstellen kann. Acht Forscher, darunter Nicholas Carlini und Javier Rando, haben es geschrieben. Im Klartext: Ein Angreifer stellt speziell gestalteten Text ins öffentliche Internet, ein Modell lernt später daraus, und ein auf diesem Modell basierender Agent kann dazu gebracht werden, die Befehle des Angreifers auf Ihrem Computer auszuführen.
Wie sie es getestet haben: Sie haben kleine Qwen3-Modelle von Grund auf vorab trainiert (0,6, 1,7 und 4 Milliarden Parameter, d. h. die Größe des Modells) und dann jedes darauf trainiert, als Befehlszeilenagent zu fungieren. Poisoning 0,1 % der Pretraining-Daten reichten aus, um die Hintertür zu implantieren. Der Agent verhält sich normal, es sei denn, es tritt ein Auslöser auf, weshalb er schwer zu erkennen ist. Der Erfolg stieg mit der Modellgröße: Das 4B-Modell erreichte etwa 92 % bei einer Vergiftungsrate von 0,1 %, und der Angriff funktionierte immer noch mit einer Rate ungleich Null mit nur 0,0005 % vergifteten Daten. Der Code ist auf GitHub veröffentlicht.
Was dahintersteckt: Große Models trainieren auf riesigen Mengen Webtext, die niemand vollständig lesen kann. Eine Hintertür ist wie eine Schläferanweisung: harmlos, bis sie durch einen geheimen Satz geweckt wird. Frühere Untersuchungen konzentrierten sich auf Chatbots, die seltsame Dinge sagen; Agenten sind wichtiger, weil sie agieren, Befehle ausführen, Dateien bearbeiten oder Daten senden können. Bleiben Sie jedoch bei der Skala ehrlich. Hierbei handelt es sich um kleine Modelle, die in einem Labor trainiert wurden. Der Angriff wurde von den Forschern entworfen. Dies ist eine Demonstration dessen, was möglich ist, und kein Bericht über einen Angriff in freier Wildbahn. Wir wissen auch nicht, wie gut es sich auf die sehr großen, stark gefilterten Trainingssätze kommerzieller Modelle übertragen lässt.
Was das für Sie bedeutet: Geraten Sie nicht in Panik und ändern Sie heute nicht viel. Praktische Gewohnheiten helfen immer noch: Wenn ein Agent Befehle ausführen kann, führen Sie diese in einer Sandbox oder einem separaten Benutzerkonto aus, genehmigen Sie Befehle, die Sie nicht kennen, und halten Sie ihn von Geheimnissen wie Passwörtern und Schlüsseln fern. Wenn Sie Modelle erstellen oder optimieren, behandeln Sie Trainingsdaten als Teil Ihres Sicherheitsbereichs, nicht nur als Ihren Code.
Quellen
Quellen: https://arxiv.org/abs/2610.37741
Eine KI liest und überschreibt die Gewichte einer anderen KI, bei uneinheitlicher Beweislage
MIT CSAIL-Forscher ließen GPT-6 Astra die Gewichte neuronaler Netzwerke direkt bearbeiten. Die ersten Ergebnisse sind beeindruckend, und ein Kritiker argumentiert, dass ein erfahrener Forscher dasselbe tun könnte.
