Les lecteurs ont donné une note plus élevée aux nouvelles sur l’IA qu’aux histoires humaines, jusqu’à ce qu’on leur dise qu’une machine les a écrites

Une nouvelle étude de la revue Judgment and Decision Making a placé plus de 2 500 personnes devant des histoires courtes et leur a demandé de repérer la machine. Ils ne le pouvaient pas. Dans trois expériences, les participants n’ont pas fait mieux qu’un tirage au sort, et les histoires écrites par l’IA ont été mieux notées que les histoires humaines, du moins pendant que les lecteurs croyaient qu’une personne les avait écrites.

Les chercheurs Sydney Sears et Deena Skolnick Weisberg ont mené la première expérience auprès de 1 682 participants. Chacun a lu une histoire d’environ 1 000 mots. Trois des six provenaient de magazines littéraires et de recueils de nouvelles établis. Les trois autres ont été générés avec ChatGPT, invités à correspondre au thème, au style et à la perspective narrative des originaux humains. On a dit à la moitié des lecteurs qu’un humain avait écrit l’article, et à la moitié, ChatGPT. Cette étiquette n’était exacte que pour la moitié de chaque groupe, ce qui rend la conception utile : elle sépare ce que fait le texte de ce que le lecteur attend.

Sur une échelle de moins 3 à plus 3, les histoires d’IA ont obtenu une note de 1,54 pour la qualité perçue contre 0,97 pour les histoires humaines, et de 1,42 contre 1,00 pour l’immersion. Le label importait indépendamment. Quelle que soit la personne qui l’a réellement écrit, les lecteurs ont donné des notes plus élevées lorsqu’on leur a dit que l’auteur était humain. Les lecteurs qui ont aimé l’IA en général ont tout noté plus haut et sont allés encore plus haut lorsqu’on leur a dit qu’il s’agissait de ChatGPT. Parmi les lecteurs sceptiques en matière d’IA, l’effet s’est produit dans l’autre sens. Dans deux autres expériences portant sur 905 personnes, les participants ont lu côte à côte une histoire humaine et une histoire d’IA et ont dû dire laquelle était laquelle. Même avec une comparaison directe, ils avaient une chance.

Avant que quiconque ne conclue que ChatGPT écrit de meilleures fictions que les romanciers, les auteurs proposent une explication dégonflante et c’est probablement la bonne. La prose de l’IA a tendance à être plus fluide, plus facile à lire et plus optimiste sur le plan émotionnel, et les gens préfèrent de manière fiable les choses faciles à traiter. La fiction littéraire sérieuse fait souvent exprès le contraire, en vous faisant travailler pour le sens. Une histoire peut être de grande qualité et peu agréable à vivre. Le format de 1 000 mots flatte également la machine, car tenir une histoire ensemble sur une page est un problème différent de celui d’en tenir une pendant 300. L’expérience avec les outils d’IA est corrélée à la détection des contrefaçons. L’expérience de la fiction ne l’a pas fait.

Ce que cela signifie pour vous: la conclusion pratique n’est pas que l’IA écrit bien, mais que vous ne pouvez pas le savoir en lisant, donc toute confiance que vous avez dans votre propre détecteur est déplacée. Si vous commandez ou publiez des écrits, c’est un argument pour juger le travail sur ce qu’il fait plutôt que d’essayer d’en découvrir l’origine, et pour s’interroger directement sur la divulgation au lieu de deviner. Si vous écrivez, le résultat est plus encourageant qu’il n’y paraît : les qualités qui ont permis aux histoires d’IA de gagner ici, la douceur et la facilité de récompense émotionnelle, sont exactement les qualités qui rendent la prose oubliable. Et si vous êtes simplement un lecteur, il convient de remarquer à quel point votre plaisir s’est basé sur une étiquette plutôt que sur des mots. Cela en dit long sur nous tous. Toutes les données et tous les documents sont publics sur l’Open Science Framework, vous pouvez donc lire les histoires et juger par vous-même.

Sources

• Jugement et prise de décision : Bot ou pas ? Les gens peuvent-ils faire la différence entre des histoires écrites par un humain ou par un système d’IA ? -Open Science Framework : données et matériels d’étude
• [The Decoder : les lecteurs accordent une note plus élevée aux nouvelles générées par l’IA qu’aux histoires humaines] (https://the-decoder.com/readers-rate-ai-generated-short-stories-higher-than-human-ones-until-they-learn-a-machine-wrote-them/)