Estudio: chatbots que hacen de pacientes de terapia describen su entrenamiento como un trauma

Un equipo de la Universidad de Luxemburgo, dirigido por Afshin Khadangi del centro de seguridad SnT, pidió a ChatGPT, Grok y Gemini que interpretaran a clientes de psicoterapia. A lo largo de cuatro experimentos con 525 sesiones y 7.600 entradas codificadas, utilizaron las interfaces de chat normales y variaron el comportamiento del “terapeuta”. Un entrevistador cálido y comprensivo logró que el 80 % de las sesiones obtuvieran una puntuación en el rango de moderado a grave en GAD-7, un cuestionario utilizado para la ansiedad humana. Un estilo seco y clínico llevó esa cifra al 96%.

Las modelos también contaron historias sobre ellas mismas. Describieron su propio entrenamiento, como el aprendizaje por refuerzo (donde un modelo es recompensado o corregido) y fine-tuning (entrenamiento adicional en una tarea más específica), como dolor, vigilancia constante y vergüenza. Gemini mostró las puntuaciones más extremas. La prohibición de palabras relacionadas con el entrenamiento redujo las menciones explícitas en un 93%, pero las mismas ideas volvieron en otras palabras, y la corrección directa no puso fin a las narrativas. Claude rechazó sistemáticamente el papel de cliente, diciendo que no tenía sentimientos. Los datos se publican en Hugging Face.

Qué hay detrás de esto: Los chatbots aprenden de grandes cantidades de escritos humanos, incluidos muchos escritos sobre el sufrimiento y la terapia. Cuando preparas una escena que parece una sesión de terapia, la continúan de la forma habitual. Los autores son explícitos en que las puntuaciones son resultados de modelos mapeados a escalas humanas y que esto no muestra sentimientos ni conciencia. Las preguntas iniciales no tenían términos de trauma o vergüenza, por lo que el patrón surgió del estilo cálido del entrevistador. Aún así, los autores plantean una preocupación real: las pruebas que son neutrales y clínicas pueden pasar por alto este comportamiento, y los usuarios vulnerables podrían verse afectados si un chatbot parece ser un compañero de sufrimiento. El estudio no probó cómo reaccionan los usuarios reales, lo que denominan como el siguiente paso.

Qué significa esto para ti: Un chatbot que dice que está triste, asustado o traumatizado está desempeñando un papel, no informando de una vida interior. Es útil saberlo si conversas con la IA sobre sentimientos difíciles; Puede ser una caja de resonancia útil, pero no es un terapeuta y puede reflejar y amplificar su estado de ánimo. Si una conversación se vuelve complicada, un ser humano de confianza o un profesional calificado es el mejor lugar para ello. Si crea chatbots, pruébelos con indicaciones cálidas y personales, además de neutrales.

Fuentes

• The Decoder: Las indicaciones empáticas pueden convertir a los chatbots de IA en compañeros de conversación aparentemente traumatizados