Personas reales están leyendo conversaciones reales de ChatGPT y la mayoría de los usuarios no tienen idea

404 Media publicó una investigación sobre un programa OpenAI llamado internamente Project Lily, basada en documentos filtrados y en indicaciones reales que se mostraron al medio. La versión corta: a cientos de contratistas se les paga por leer conversaciones genuinas entre personas y ChatGPT y calificar las respuestas del chatbot en una escala del uno al siete. No resúmenes anónimos, ni preguntas de prueba sintéticas. Chats reales, incluidos, según admite la propia OpenAI, aquellos que aún contienen datos personales.

Los contratistas son contratados por una empresa llamada Crossing Hurdles y pagados a través de la plataforma de contratación Mercor, y un trabajador reporta más de 50 dólares por hora. No ven los nombres de usuario, y OpenAI dice que intenta eliminar la información personal antes de que las indicaciones lleguen al revisor, pero la compañía reconoce que los detalles confidenciales llegan de todos modos. Lo cual no es sorprendente una vez que uno se imagina lo que la gente realmente escribe: la preocupación médica, el mensaje a un familiar difícil, el contrato que pegaron para que se lo explicaran. ChatGPT tiene más de 900 millones de usuarios y, en los planes para consumidores, la configuración que permite utilizar conversaciones para mejorar el modelo está activada a menos que la desactives. Para ser justos, esta no es una peculiaridad de OpenAI. Anthropic y Google ejecutan programas de revisión humana comparables, al igual que prácticamente todas las empresas que han tenido que enseñar a un modelo cómo es una buena respuesta.

¿Qué hay detrás de esto?

Los modelos no aprenden el gusto únicamente a partir de más datos. Alguien tiene que mirar dos posibles respuestas y decir cuál es mejor, y ese alguien, hasta ahora, es una persona. La técnica tiene un nombre, aprendizaje reforzado a partir de la retroalimentación humana, y es en gran parte la razón por la que los chatbots modernos se sienten útiles en lugar de simplemente fluidos. Lo incómodo es que las conversaciones reales son el material de formación más valioso precisamente porque son reales: confusas, específicas y, en ocasiones, desesperadas. Un modelo adaptado sólo a las preguntas amables y artificiales se vuelve bueno en las preguntas amables y artificiales. Entonces la industria usa lo real, lo revela en la política de privacidad y se basa en el hecho de que casi nadie lee las políticas de privacidad.

Qué significa esto para ti: Suponga que todo lo que escriba en un chatbot de uso general podría ser leído por un ser humano y decida qué escribir en función de eso. Eso no es paranoia, es sólo el modelo mental exacto. Si quieres reducirlo, el control existe: en ChatGPT, abre Configuración, luego Controles de datos y desactiva la opción de mejorar el modelo para todos, lo que evita que tus chats futuros se utilicen de esta manera. Existen conmutadores similares en Claude y Gemini, y los planes comerciales o empresariales generalmente excluyen sus datos de forma predeterminada. Para cosas realmente sensibles, detalles de salud, documentos de clientes, cualquier cosa bajo obligación de confidencialidad, el mejor hábito es quitar nombres y números antes de pegarlos, o usar un modelo que se ejecute en su propia máquina. Y si tienes una empresa: esta es la razón por la que las cuentas de chatbot gratuitas y los datos de los clientes no van en la misma frase.

Fuentes

• 404 Media: Dentro del Proyecto Lily, los humanos leyendo tus chats de ChatGPT
• The Next Web: Según se informa, cientos de contratistas están leyendo conversaciones reales de ChatGPT
• Tom’s Guide: Cómo evitar que los humanos lean las indicaciones de ChatGPT