L'IA pourrait écrire comme un humain. La formation à la sécurité est ce qui le révèle
Le directeur technique de Pangram soutient que les modèles linguistiques sont détectables non pas parce qu'ils manquent de capacités, mais parce que la post-formation restreint la façon dont ils s'expriment. L’effet a un nom : mode repli.
Voici une affirmation qui mérite d’être retenue : les modèles de langage pourraient en principe écrire avec toute la variété des êtres humains, et la raison pour laquelle ils ne le font pas est un effet secondaire de la façon dont nous les entraînons à se comporter. C’est l’argument avancé par Bradley Emi, CTO du détecteur de texte IA Pangram, dans un article du 20 août, et il recadre ce que la détection IA détecte réellement.
Le mécanisme a un nom : mode effondrement. Au cours de la post-formation, l’étape après qu’un modèle a lu Internet où il apprend des règles de comportement, un modèle apprend à éviter les sorties dangereuses, à refuser certaines demandes et à rester dans des limites particulières. Cette formation ne supprime pas seulement les mauvaises options. Cela réduit toute la gamme, de sorte que le modèle s’installe dans une manière privilégiée de formuler les choses au lieu de répartir ses choix entre les nombreuses façons dont une personne pourrait prononcer la même phrase. L’état opposé, dans lequel la probabilité est répartie plus uniformément entre les formulations, est appelé couverture modale. Les preuves à l’appui d’Emi sont l’exception qui confirme la règle : les modèles de base, les versions brutes avant la post-formation, écrivent avec suffisamment de variété pour que le détecteur de Pangram ne les signale pas. Il en va de même pour les réglages précis entraînés uniquement sur Hemingway ou sur un seul subreddit, ainsi que pour les résultats brisés et incohérents.
Si cela est vrai, cela explique beaucoup de choses qui autrement ressemblent à une coïncidence, y compris l’habitude des tirets em qui, selon l’étude de Pew sur le Web, augmente au rythme de l’utilisation de l’IA. Cela crée également une véritable tension. Chaque garde-corps de sécurité ajouté par un laboratoire rend l’écriture du modèle un peu plus uniforme, et donc un peu plus facile à détecter. Vous pourriez lire cela comme un heureux accident, puisque la détectabilité est utile. Vous pourriez également y voir la preuve que nous aplatissons ces systèmes d’une manière que personne n’a délibérément choisie. Emi note une limite importante : tout cela s’applique uniquement au texte sans filigrane, la signature statistique invisible qu’Anthropic a commencé à intégrer dans la production de Claude au début du mois. Les filigranes continueront probablement à fonctionner quelle que soit la diversité de l’écriture d’un modèle.
Ce que cela signifie pour vous : si vous vous demandez pourquoi le texte écrit par l’IA a un « son », vous savez maintenant qu’il ne s’agit pas d’une limitation de la technologie mais d’une conséquence de la formation qui rend son utilisation sûre. En pratique, c’est une raison pour ne pas faire aveuglément confiance aux détecteurs dans les deux sens. Une personne qui écrit dans un registre propre, soigné et légèrement formel les fera trébucher, et quelqu’un qui utilise un modèle non filtré ne le fera peut-être pas. Si jamais vous recevez le verdict d’un détecteur, à l’école ou au travail, cette asymétrie est la chose à souligner.
##Sources
Sources: https://pangram.substack.com/p/no-llms-dont-just-mimic-human-text
Amazon vient de rendre son assistant IA gratuit sur Fire TV et a discrètement abandonné les frais de 19,99 dollars
Alexa+ est déployé gratuitement sur tous les appareils US Fire TV compatibles, sans abonnement Prime requis. La mise à niveau est automatique. Le problème, c'est que le niveau gratuit s'arrête à la télévision.
