I lettori hanno valutato i racconti brevi basati sull'intelligenza artificiale più di quelli umani, fino a quando non è stato detto loro che li aveva scritti una macchina

Un nuovo studio sulla rivista Judgment and Decision Making ha messo più di 2.500 persone di fronte a racconti e ha chiesto loro di individuare la macchina. Non potevano. In tre esperimenti, i partecipanti non hanno ottenuto risultati migliori del lancio di una moneta, e le storie scritte dall’intelligenza artificiale sono state valutate più bene di quelle umane, almeno mentre i lettori credevano che fosse stata una persona a scriverle.

I ricercatori Sydney Sears e Deena Skolnick Weisberg hanno condotto il primo esperimento con 1.682 partecipanti. Ognuno ha letto una storia di circa 1.000 parole. Tre dei sei provenivano da riviste letterarie e raccolte di racconti affermate. Gli altri tre sono stati generati con ChatGPT, in modo da corrispondere al tema, allo stile e alla prospettiva narrativa degli originali umani. A metà dei lettori è stato detto che il pezzo è stato scritto da un essere umano, all’altra metà è stato detto che è stato ChatGPT. Quell’etichetta era accurata solo per la metà di ciascun gruppo, il che è ciò che rende utile il design: separa ciò che fa il testo da ciò che il lettore si aspetta.

Su una scala da meno 3 a più 3, le storie dell’intelligenza artificiale hanno ottenuto un punteggio di 1,54 per la qualità percepita contro 0,97 per quelle umane e 1,42 contro 1,00 per l’immersione. L’etichetta contava in modo indipendente. Chiunque lo avesse effettivamente scritto, i lettori diedero voti più alti quando gli venne detto che l’autore era umano. I lettori a cui piaceva l’intelligenza artificiale in generale hanno valutato tutto più in alto e sono andati ancora più in alto quando è stato detto che era ChatGPT. Tra i lettori scettici sull’intelligenza artificiale, l’effetto è andato nella direzione opposta. In due ulteriori esperimenti con 905 persone, i partecipanti hanno letto fianco a fianco una storia umana e una basata sull’intelligenza artificiale e hanno dovuto dire quale era quale. Anche con un confronto diretto erano un caso.

Prima che qualcuno concluda che ChatGPT scriva narrativa migliore dei romanzieri, gli autori offrono una spiegazione sconfortante ed è probabilmente quella giusta. La prosa dell’intelligenza artificiale tende ad essere più fluida, più facile da leggere ed emotivamente più ottimista, e le persone preferiscono in modo affidabile cose facili da elaborare. La narrativa letteraria seria spesso fa di proposito il contrario, costringendoti a lavorare per il significato. Una storia può essere di alta qualità e non molto piacevole da raccontare. Anche il formato da 1.000 parole lusinga la macchina, poiché tenere insieme una storia per una pagina è un problema diverso che tenerne insieme una per 300. L’esperienza con gli strumenti di intelligenza artificiale è correlata all’individuazione dei falsi. L’esperienza con la narrativa no.

Cosa significa per te: il punto pratico non è che l’intelligenza artificiale scrive bene, è che non puoi capirlo leggendo, quindi ogni fiducia che hai nel tuo rilevatore è fuori luogo. Se commissioni o pubblichi scritti, questo è un argomento per giudicare il lavoro in base a ciò che fa piuttosto che cercare di fiutarne l’origine, e per chiedere informazioni direttamente sulla divulgazione invece di tirare a indovinare. Se scrivi, la scoperta è più incoraggiante di quanto sembri: le qualità che hanno fatto vincere le storie sull’intelligenza artificiale qui, la fluidità e il facile ritorno emotivo, sono esattamente le qualità che rendono la prosa dimenticabile. E se sei semplicemente un lettore, vale la pena notare quanto il tuo divertimento si sia spostato su un’etichetta piuttosto che sulle parole. Questo dice qualcosa su tutti noi. Tutti i dati e i materiali sono pubblici sull’Open Science Framework, quindi puoi leggere le storie e giudicare tu stesso.

Fonti

• Giudizio e processo decisionale: Bot o no? Le persone possono distinguere tra storie scritte da un essere umano o da un sistema di intelligenza artificiale?
• Open Science Framework: dati e materiali dello studio
• The Decoder: i lettori valutano i racconti generati dall’intelligenza artificiale più di quelli umani