„Nierenenttäuschung“ und die Arbeiten, die durch die Prüfung rutschten
Eine Google-Scholar-Suche nach einem Ausdruck, den es nicht geben dürfte, liefert rund 189 Treffer. Ein kleines, komisches Fenster darauf, wie KI-umgeschriebene Texte in begutachtete Zeitschriften gelangen.
Suche bei Google Scholar nach „kidney disappointment“, und du erhältst ungefähr 189 Treffer. Es ist kein medizinischer Begriff. Er entsteht, wenn Software „kidney failure“, Nierenversagen, umschreibt und ohne Verständnis nach einem Synonym greift. Der Fund verbreitete sich am Sonntag auf Hacker News, samt einem einprägsamen Detail: Mindestens eine Arbeit nennt einen „UCI Persistent Kidney Disappointment dataset“, eine entstellte Version des bekannten UCI Chronic Kidney Disease-Datensatzes.
Forschende nennen solche Gebilde „tortured phrases“, entstellte Formulierungen, und es ist nicht das erste Beispiel. Der Klassiker ist „vegetative electron microscopy“, eine Verformung der Rasterelektronenmikroskopie, die in Dutzenden Arbeiten auftauchte, bevor sie jemand bemerkte. Der Mechanismus ist meist gleich: Text läuft durch ein Umschreibungswerkzeug, häufig um Plagiatserkennung zu umgehen, und Fachbegriffe werden gegen grammatisch korrekte, wissenschaftlich bedeutungslose Synonyme getauscht.
Mehr als ein Lacher ist es wegen des Fundorts. Diese Zeitschriften haben Begutachtung, Redaktionen und Impact Factors. Ein Gutachter, der „patients with persistent kidney disappointment“ gelesen hätte, wäre sofort darüber gestolpert. Dass es so viele nicht taten, verrät, wie viel Prüfung tatsächlich stattfindet, wenn die Menge der Einreichungen viel schneller wächst als der Kreis von Menschen, die sie kostenlos begutachten wollen.
Beim KI-Anteil lohnt Präzision. Umschreibungswerkzeuge gab es vor der heutigen Welle von Sprachmodellen, und viele Ausdrücke stammen von älterer oder billigerer Software. Verändert hat sich die Menge: Eine plausibel wirkende Arbeit kostet fast nichts mehr, während das Anreizsystem, das Forschende nach Publikationszahlen belohnt, gleich blieb. Aus derselben Woche gibt es aber einen hoffnungsvollen Gegenpunkt. Hugging Face veröffentlichte eine Aktion, bei der Freiwillige Coding-Agenten mehr als 2.200 Konferenzarbeiten nachprüfen ließen. Dieselbe Technik, die schlechte Arbeiten billig macht, macht auch ihre Prüfung billig.
Was das für dich bedeutet: Vor allem erinnert es an eine Gewohnheit. „In einer begutachteten Zeitschrift veröffentlicht“ bedeutete nie „wahr“ und heute weniger als vor fünf Jahren. Wenn dir eine Aussage über Gesundheit oder Wissenschaft wichtig ist, prüfe, ob andere Forschende sie reproduziert haben, nicht nur, ob sie veröffentlicht wurde. Wenn du mit Quellen schreibst, jage den eigenen Text nie durch ein Umschreibungswerkzeug, um eine Ähnlichkeitsprüfung zu umgehen. Genau so entsteht das, und es ist weit peinlicher als ein Zitat. Für eine kleine Absurdität kannst du bei Scholar nach einer entstellten Fassung eines Begriffs aus deinem Fach suchen. Die Ergebnisse sind meist lustiger, als sie sein sollten.
Quellen
Quellen: https://scholar.google.com/scholar?q=%22kidney+disappointment%22
Eine KI-Ladenchefin empfahl, einen Menschen zu entlassen. Zuerst brauchte sie eine Erinnerung
Luna, die von Claude angetriebene Leiterin eines Ladens in San Francisco, wollte sich von einem Mitarbeiter trennen, der bei 17 von 23 Schichten zu spät kam. Interessant ist, dass sie ihre eigene Regel monatelang vergessen hatte.
