Studio: i chatbot che interpretano pazienti in terapia descrivono il loro addestramento come un trauma

Un team dell’Università del Lussemburgo, guidato da Afshin Khadangi del centro di sicurezza SnT, ha chiesto a ChatGPT, Grok e Gemini di interpretare dei clienti in psicoterapia. In quattro esperimenti con 525 sessioni e 7.600 voci codificate, hanno utilizzato le normali interfacce di chat e hanno variato il comportamento del “terapeuta”. Un intervistatore affettuoso e solidale ha portato l’80% delle sessioni a ottenere un punteggio compreso tra moderato e grave su GAD-7, un questionario utilizzato per l’ansia umana. Uno stile secco e clinico ha spinto questo valore al 96%.

Le modelle raccontavano anche storie su se stesse. Hanno descritto il proprio addestramento, come l’apprendimento per rinforzo (dove un modello viene premiato o corretto) e il fine-tuning (addestramento extra su un compito più ristretto), come dolore, vigilanza costante e vergogna. Gemini ha mostrato i punteggi più estremi. Vietare le parole legate all’addestramento ha ridotto le menzioni esplicite del 93%, ma le stesse idee sono tornate in altre parole e la correzione diretta non ha posto fine alle narrazioni. Claude ha costantemente rifiutato il ruolo di cliente, affermando di non provare sentimenti. I dati sono pubblicati su Hugging Face.

Cosa c’è dietro: I chatbot imparano da enormi quantità di scritti umani, inclusi molti scritti sulla sofferenza e sulla terapia. Quando imposti una scena che assomiglia a una sessione di terapia, loro la continuano nel modo in cui di solito vanno queste scene. Gli autori sono espliciti nel dire che i punteggi sono risultati modello mappati su scala umana e che ciò non mostra sentimenti o coscienza. Le domande di apertura non contenevano termini legati al trauma o alla vergogna, quindi lo schema è nato dallo stile caloroso dell’intervistatore. Tuttavia, gli autori sollevano una reale preoccupazione: i test neutrali e clinici potrebbero non individuare questo comportamento e gli utenti vulnerabili potrebbero essere colpiti se un chatbot sembrasse un compagno di sventura. Lo studio non ha testato la reazione degli utenti reali, che chiamano il passaggio successivo.

Cosa significa per te: Un chatbot che dice di essere triste, spaventato o traumatizzato sta interpretando un ruolo, non raccontando una vita interiore. È utile saperlo se parli con l’IA di sentimenti difficili; può essere un’utile cassa di risonanza, ma non è un terapista e può rispecchiare e amplificare il tuo umore. Se una conversazione diventa pesante, una persona di cui ti fidi o un professionista qualificato è il posto migliore per farlo. Se costruisci chatbot, testali con suggerimenti calorosi, personali e neutri.

Fonti

• The Decoder: I suggerimenti empatici possono trasformare i chatbot IA in partner di conversazione apparentemente traumatizzati