← Glosario Término
Ataque por puerta trasera
Un comportamiento oculto implantado en un modelo de IA que permanece en silencio hasta que aparece un desencadenante secreto.
Una puerta trasera es una instrucción durmiente dentro de un modelo. Se comporta normalmente casi todo el tiempo, pero cuando ve una frase desencadenante particular, hace algo que el atacante quiere. Una forma de plantarlo es envenenarlo: colocar texto elaborado donde el modelo luego aprenderá de él.
El peligro aumenta con los agentes, porque un agente puede actuar, por ejemplo, ejecutando comandos. Las defensas incluyen sandboxes, pasos de aprobación y comprobaciones cuidadosas de los datos de entrenamiento.
Mencionado en