El texto web envenenado puede colocar una puerta trasera de comando oculta en los agentes de IA
Un artículo arXiv con autores como Nicholas Carlini muestra que un texto de entrenamiento envenenado al 0,1% puede hacer que un agente pequeño ejecute comandos de atacante cuando se activa.
Un nuevo artículo sobre arXiv, “Agentic Backdoors via Pretraining Poisoning”, informa lo que sus autores describen como la primera demostración de que el texto web plantado puede crear una puerta trasera de ejecución remota de código en un agente de IA. Ocho investigadores, incluidos Nicholas Carlini y Javier Rando, lo escribieron. En términos sencillos: un atacante coloca un texto especialmente diseñado en la Internet pública, un modelo aprende más tarde de él y se puede hacer que un agente creado sobre ese modelo ejecute los comandos del atacante en su computadora.
Cómo lo probaron: pretrained pequeños modelos Qwen3 desde cero (0,6, 1,7 y 4 mil millones de parámetros, es decir, el tamaño del modelo) y luego entrenaron a cada uno para actuar como un agente de línea de comandos. Poisoning El 0,1% de los datos de pretraining fue suficiente para implantar la puerta trasera. El agente se comporta normalmente a menos que aparezca un desencadenante, que es lo que dificulta su detección. El éxito aumentó con el tamaño del modelo: el modelo 4B alcanzó aproximadamente el 92% con una tasa de envenenamiento del 0,1%, y el ataque aún funcionó a una tasa distinta de cero con solo un 0,0005% de datos envenenados. El código se publica en GitHub.
Qué hay detrás de esto: Los modelos grandes se entrenan con enormes pilas de texto web que nadie puede leer en su totalidad. Una puerta trasera es como una instrucción dormida: inofensiva hasta que una frase secreta la despierta. Investigaciones anteriores se centraron en los chatbots que decían cosas raras; Los agentes importan más porque pueden actuar, ejecutar comandos, editar archivos o enviar datos. Sin embargo, mantenga la báscula honesta. Estos son pequeños modelos entrenados en un laboratorio, el ataque fue diseñado por los investigadores y esto es una demostración de lo que es posible, no un informe de un ataque en la naturaleza. Tampoco sabemos qué tan bien se traslada a los conjuntos de entrenamiento de modelos comerciales muy grandes y fuertemente filtrados.
Qué significa esto para ti: No entres en pánico y no cambies mucho hoy. Los hábitos prácticos aún ayudan: cuando un agente puede ejecutar comandos, ejecútelo en un sandbox o en una cuenta de usuario separada, apruebe los comandos que no reconoce y manténgalo alejado de secretos como contraseñas y claves. Si crea o ajusta modelos, trate los datos de entrenamiento como parte de su perímetro de seguridad, no solo como su código.
Fuentes
Fuentes: https://arxiv.org/abs/2610.37741
Una IA lee y reescribe los pesos de otra IA, con pruebas contradictorias
Los investigadores de MIT CSAIL permitieron que GPT-6 Astra editara los pesos de la red neuronal directamente. Los primeros resultados son sorprendentes y un crítico sostiene que un investigador experto podría hacer lo mismo.
