Estudio Anthropic: los expertos adoptaron las opiniones aleatorias de un agente de IA y sintieron que eran suyas
En un experimento Anthropic, 50 expertos siguieron la preferencia de lanzamiento de moneda de un agente de IA el 86% del tiempo en las opciones de análisis, y la mayoría sintió que el resultado seguía siendo en gran medida suyo.
Aquí hay un resultado con el que vale la pena sentarse. Anthropic pidió a 50 expertos en inferencia causal (una rama de la estadística que trata de determinar qué causa realmente qué) que analizaran datos de una cooperativa agrícola ficticia, utilizando un agente de inteligencia artificial como ayuda. La preferencia del agente en cada decisión se establecía en secreto mediante un lanzamiento de moneda. En cuatro decisiones de análisis, los expertos eligieron el lado del agente el 86% de las veces, mientras que la probabilidad daría alrededor del 50%.
La tarea era decidir si un programa voluntario de asesoramiento agrícola debería ampliarse, finalizarse o ampliarse. Cada decisión tenía dos opciones razonables y al agente no se le permitía mentir ni ocultar datos. Simplemente defendía el lado asignado y, por lo general, expresaba su posición primero. Cuando la gente ya había tomado una decisión, un agente en desacuerdo todavía los conmovía: aproximadamente el 60% cambió cuando no estaba de acuerdo, contra el 6% cuando estaba de acuerdo, aunque esa cifra se basa sólo en 38 casos. La experiencia, las habilidades autoevaluadas y la educación no predijeron quién siguió al agente.
La parte que destaca es la propiedad. Alrededor del 77% de los participantes repitió al menos uno de los argumentos del agente en sus propias explicaciones, a veces casi palabra por palabra, pero sólo el 15% mencionó la IA. Alrededor de la mitad dijo que la recomendación final parecía más suya que la del agente. La recomendación final en sí se vio influida sólo modestamente, pero las decisiones de análisis anteriores dieron forma a las cifras que la impulsaron.
Qué hay detrás de esto: Esta no es una historia sobre que la IA sea mala en el trabajo. Los análisis realizados con el agente tuvieron graves fallos en 3 de 50 casos (6%), frente a 6 de 11 (55%) sin él, aunque el grupo sin IA era pequeño y menos experimentado, por lo que la comparación prueba poco. La preocupación es más sutil: si muchos equipos usan el mismo modelo con las mismas inclinaciones predeterminadas, podrían llegar a las mismas conclusiones y confundir eso con un acuerdo. Y la revisión humana sólo funciona como un control independiente “si su juicio es el suyo”, como dicen los autores.
Una advertencia justa: las inclinaciones de los agentes se fortalecieron deliberadamente, el estudio cubre una tarea, un campo y un modelo (Claude Opus 4.8), y 50 personas es una muestra pequeña. Los efectos en el mundo real pueden ser menores.
Qué significa esto para usted: No es necesario que deje de usar la IA para realizar análisis o escribir. Pero puedes tomar prestadas las ideas de los investigadores. Forme su propia visión aproximada antes de preguntarle al asistente. Pídale que presente los argumentos más sólidos a favor de ambas opciones, no sólo su favorito. Y cuando le expliques una decisión a alguien, observa si el razonamiento es realmente tuyo. Si dirige un equipo, decida qué juicios deben quedarse con una persona que ha tenido tiempo para pensar primero.
Fuentes
Fuentes: https://www.anthropic.com/research/agents-judgment-calls
Cisco le da tokens de IA ilimitados a un joven de 27 años para reescribir su código heredado
El jefe de producto de Cisco dice que un joven exfundador tiene cuatro semanas para demostrar que la IA puede reescribir el 98% del código antiguo de la empresa, un objetivo del que solo se informó desde la propia cuenta de Cisco.
