Leser bewerteten KI-Kurzgeschichten höher als menschliche, bis ihnen gesagt wurde, dass sie von einer Maschine geschrieben wurden

In einer neuen Studie in der Zeitschrift Judgement and Decision Making wurden mehr als 2.500 Menschen vor Kurzgeschichten gestellt und gebeten, die Maschine zu erkennen. Sie konnten es nicht. In drei Experimenten schnitten die Teilnehmer nicht besser ab als ein Münzwurf, und die von der KI geschriebenen Geschichten wurden höher bewertet als die menschlichen, zumindest solange die Leser glaubten, dass eine Person sie geschrieben hatte.

Die Forscher Sydney Sears und Deena Skolnick Weisberg führten das erste Experiment mit 1.682 Teilnehmern durch. Jeder las eine Geschichte mit etwa 1.000 Wörtern. Drei der sechs stammten aus etablierten Literaturzeitschriften und Kurzgeschichtensammlungen. Die anderen drei wurden mit ChatGPT generiert und so gestaltet, dass sie dem Thema, Stil und der Erzählperspektive der menschlichen Originale entsprechen. Der Hälfte der Leser wurde gesagt, dass ein Mensch den Artikel geschrieben habe, der anderen Hälfte wurde gesagt, dass ChatGPT es getan habe. Diese Bezeichnung stimmte nur für die Hälfte jeder Gruppe, was den Nutzen des Designs ausmacht: Es trennt das, was der Text tut, von dem, was der Leser erwartet.

Auf einer Skala von minus 3 bis plus 3 erzielten die KI-Geschichten einen Wert von 1,54 für die wahrgenommene Qualität gegenüber 0,97 für die menschlichen Geschichten und 1,42 gegenüber 1,00 für die Immersion. Das Etikett war unabhängig von Bedeutung. Wer auch immer es tatsächlich geschrieben hatte, die Leser gaben höhere Noten, wenn ihnen gesagt wurde, dass der Autor ein Mensch sei. Leser, die KI im Allgemeinen mochten, bewerteten alles höher und stiegen noch höher, als ihnen gesagt wurde, dass es sich um ChatGPT handelte. Bei KI-skeptischen Lesern war der Effekt umgekehrt. In zwei weiteren Experimenten mit 905 Personen lasen die Teilnehmer jeweils eine menschliche und eine KI-Geschichte nebeneinander und mussten sagen, welche welche war. Selbst im direkten Vergleich waren sie chancenlos.

Bevor jemand zu dem Schluss kommt, dass ChatGPT bessere Belletristik schreibt als Romanautoren, bieten die Autoren eine enttäuschende Erklärung an, und diese ist wahrscheinlich die richtige. KI-Prosa ist tendenziell flüssiger, leichter zu lesen und emotional optimistischer, und Menschen bevorzugen zuverlässig Dinge, die leicht zu verarbeiten sind. Ernsthafte literarische Fiktion bewirkt oft absichtlich das Gegenteil und lässt Sie für den Sinn arbeiten. Eine Geschichte kann von hoher Qualität sein und nicht sehr angenehm zu lesen sein. Das 1.000-Wörter-Format schmeichelt auch der Maschine, da das Zusammenfassen einer Geschichte für eine Seite ein anderes Problem ist als das Zusammenhalten einer Geschichte für 300. Erfahrung mit KI-Tools korrelierte mit der Erkennung von Fälschungen. Erfahrung mit Belletristik hatte ich nicht.

Was das für dich bedeutet: Die praktische Erkenntnis ist nicht, dass KI gut schreibt, sondern dass Sie es nicht durch Lesen erkennen können, sodass jegliches Vertrauen, das Sie in Ihren eigenen Detektor haben, fehl am Platz ist. Wenn Sie Schriften in Auftrag geben oder veröffentlichen, ist dies ein Argument dafür, die Arbeit danach zu beurteilen, was sie leistet, anstatt zu versuchen, ihren Ursprung herauszufinden, und dafür, direkt nach der Offenlegung zu fragen, anstatt zu raten. Wenn Sie schreiben, ist das Ergebnis ermutigender, als es aussieht: Die Eigenschaften, die KI-Geschichten hier zum Sieg verholfen haben, Geschmeidigkeit und ein leichter emotionaler Erfolg, sind genau die Eigenschaften, die Prosa zu einem unvergesslichen Erlebnis machen. Und wenn Sie einfach nur ein Leser sind, sollten Sie sich darüber im Klaren sein, wie sehr Ihr Vergnügen eher auf der Bezeichnung als auf den Worten beruhte. Das sagt etwas über uns alle aus. Alle Daten und Materialien sind im Open Science Framework öffentlich, sodass Sie die Geschichten lesen und selbst beurteilen können.

Quellen

• Urteil und Entscheidungsfindung: Bot oder nicht? Können Menschen den Unterschied zwischen Geschichten erkennen, die von einem Menschen oder von einem KI-System geschrieben wurden?
• Open Science Framework: Studiendaten und Materialien
• The Decoder: Leser bewerten KI-generierte Kurzgeschichten höher als menschliche Kurzgeschichten