Double usage
Un savoir ou une capacité qui sert aussi bien le travail bénéfique que le travail nuisible, si bien qu'un outil ne peut pas simplement bloquer la mauvaise moitié.
Le double usage désigne quelque chose dont les applications bonnes et mauvaises sont la même chose vue sous deux angles. L’exemple classique est la biologie: mettre au point un vaccin vivant suppose de cultiver l’agent pathogène que l’on veut prévenir, et le captopril, médicament contre l’hypertension, est né de l’isolement de la partie toxique d’un venin de serpent. La chimie, la cybersécurité et la génétique ont la même propriété.
Pour les entreprises d’IA, c’est le problème de sécurité le plus difficile qui soit, car on ne peut pas filtrer un sujet, seulement une intention, et l’intention est invisible. Un chercheur et un malfaiteur peuvent poser des questions rigoureusement identiques. C’est pourquoi les modèles sont souvent bloqués sur des domaines entiers plutôt que sur des requêtes précises, et pourquoi ce blocage est en général trop large au début avant d’être affiné.