Attacco backdoor

Una backdoor è un’istruzione dormiente all’interno di un modello. Si comporta normalmente quasi sempre, ma quando vede una particolare frase trigger, fa qualcosa che l’aggressore desidera. Un modo per piantarlo è l’avvelenamento: posizionare il testo creato dove il modello imparerà in seguito da esso.

Il pericolo aumenta con gli agenti, perché un agente può agire, ad esempio eseguendo comandi. Le difese includono sandboxes, passaggi di approvazione e controlli accurati dei dati di addestramento.