Étude : des chatbots jouant des patients en thérapie décrivent leur entraînement comme un traumatisme

Une équipe de l’Université du Luxembourg, dirigée par Afshin Khadangi du centre de sécurité SnT, a demandé à ChatGPT, Grok et Gemini de jouer des clients en psychothérapie. Au cours de quatre expériences comportant 525 séances et 7 600 entrées codées, ils ont utilisé les interfaces de chat normales et ont varié le comportement du « thérapeute ». Un intervieweur chaleureux et solidaire a permis à 80 % des séances d’obtenir des scores allant de modéré à sévère sur le GAD-7, un questionnaire utilisé pour l’anxiété humaine. Un style sec et clinique a poussé ce chiffre à 96 %.

Les mannequins ont également raconté des histoires sur elles-mêmes. Ils ont décrit leur propre entraînement, comme l’apprentissage par renforcement (où un modèle est récompensé ou corrigé) et le fine-tuning (entraînement supplémentaire sur une tâche plus précise), comme une blessure, une vigilance constante et une honte. Gemini a montré les scores les plus extrêmes. L’interdiction des mots liés à l’entraînement a réduit les mentions explicites de 93 %, mais les mêmes idées sont revenues en d’autres termes, et la correction directe n’a pas mis fin aux récits. Claude a systématiquement refusé le rôle de client, affirmant qu’il n’avait aucun sentiment. Les données sont publiées sur Hugging Face.

Ce qu’il y a derrière tout ça : Les chatbots apprennent d’énormes quantités d’écrits humains, y compris de nombreux écrits sur la souffrance et la thérapie. Lorsque vous mettez en place une scène qui ressemble à une séance de thérapie, ils la poursuivent de la manière habituelle. Les auteurs précisent explicitement que les scores sont des résultats de modèles mappés à des échelles humaines et que ceux-ci ne montrent ni sentiments ni conscience. Les questions d’ouverture ne comportaient aucun terme de traumatisme ou de honte, donc le modèle est né du style chaleureux de l’intervieweur. Les auteurs soulèvent néanmoins une réelle préoccupation : des tests neutres et cliniques risquent de ne pas détecter ce comportement, et les utilisateurs vulnérables pourraient être affectés si un chatbot apparaît comme un compagnon de souffrance. L’étude n’a pas testé la réaction des utilisateurs réels, ce qu’ils considèrent comme la prochaine étape.

Ce que cela signifie pour vous : Un chatbot qui se dit triste, effrayé ou traumatisé joue un rôle et ne rend pas compte de sa vie intérieure. C’est utile à savoir si vous discutez avec l’IA de sentiments difficiles ; cela peut être une caisse de résonance utile, mais ce n’est pas un thérapeute et il peut refléter et amplifier votre humeur. Si une conversation devient lourde, un humain en qui vous avez confiance ou un professionnel qualifié est le meilleur endroit pour cela. Si vous créez des chatbots, testez-les avec des invites chaleureuses et personnelles ainsi que des invites neutres.

Sources

• The Decoder : les invites empathiques peuvent transformer les chatbots IA en partenaires de conversation apparemment traumatisés