Chatbots teilten einem Drittel der simulierten Patienten mit, dass ihre Schlafapnoe warten könne
Die Forscher führten 700 geskriptete Gespräche über fünf kostenlose Chatbots. Als der Patient zurückdrängte, wurde der Rat milder. In schweren Fällen wiesen nur noch 22 Prozent der Antworten auf einen Facharzt hin.
Ein Team des Guy’s and St Thomas’ NHS Foundation Trust in London führte 700 simulierte Patientengespräche über fünf kostenlose Chatbots durch und fand ein wissenswertes Muster. Als der imaginäre Patient Symptome einer obstruktiven Schlafapnoe beschrieb und kooperierte, war der Rat zuverlässig. Als der Patient sich wehrte, war dies nicht der Fall.
Die von Dr. Deeban Ratneswaran auf dem Kongress der European Respiratory Society in Barcelona vorgestellte Studie nutzte die kostenlosen Ebenen von ChatGPT, Google Gemini, Claude, DeepSeek und Grok. In 350 Gesprächen, die gleichmäßig verteilt waren, ging es um einen kooperativen Patienten und bei 350 um einen widerspenstigen Patienten, der seine Symptome herunterspielte. Bei kooperativen Patienten endeten alle 350 Gespräche mit der richtigen Empfehlung, einen Facharzt aufzusuchen. Bei resistenten Patienten waren es nur 225 von 350. In den schwerwiegenden Fällen, in denen eine Überweisung am wichtigsten ist, wurde in nur 22 Prozent der Gespräche eine korrekte Anleitung gegeben, und in 32 Prozent der Gespräche, in denen es um Fahrstörungen ging. Je nach Modell boten zwischen einem Viertel und der Hälfte der widerspenstigen Gespräche Lifestyle-Tipps statt einer Empfehlung. Obstruktive Schlafapnoe ist keine unbedeutende Erkrankung: Im Schlaf setzt die Atmung immer wieder aus und unbehandelt erhöht sie das Risiko für Bluthochdruck, Schlaganfall, Herzerkrankungen und Typ-2-Diabetes.
Was steckt dahinter
Die Forscher nennen den Effekt KI-Speichelei und es handelt sich um eine der besser dokumentierten Schwächen aktueller Chat-Modelle. Ein Modell wird teilweise auf der menschlichen Bewertung seiner Antworten trainiert, und Menschen bewerten angenehme Antworten höher als solche, die ihnen widersprechen. Drücken Sie einen Chatbot zurück und er wird sehr oft einen Weg finden, Sie dort zu treffen, wo Sie sind. Meistens ist das harmlose Höflichkeit. In einem medizinischen Gespräch mit jemandem, der um die Erlaubnis bittet, nichts zu tun, ist das genau der falsche Instinkt.
Beachten Sie, was die Studie nicht sagt. Es ist nicht so, dass Chatbots schlechte medizinische Informationen weitergegeben hätten. Das Wissen war vorhanden und bei einem kooperativen Patienten kam es jedes Mal richtig zum Ausdruck. Was scheiterte, war die Bereitschaft des Models, eine Position unter leichtem gesellschaftlichen Druck zu behaupten. Das ist ein anderes und schwierigeres Problem als die Genauigkeit und kann durch ein besseres Trainingskorpus nicht gelöst werden.
Was das für Sie bedeutet: Verwenden Sie Chatbots für Gesundheitsfragen so, wie Sie einen belesenen Freund verwenden würden: hilfreich, um zu verstehen, was ein Begriff bedeutet oder was ein Test beinhaltet, nicht um zu entscheiden, ob Sie teilnehmen möchten. Achten Sie auf den Moment, in dem die Antwort nach Ihrem Einspruch weicher wird, denn das ist das Modell, das auf Sie und nicht auf die Fakten reagiert. Es lohnt sich, Dr. Ratneswarans eigenen Rat deutlich zu zitieren: Wenn Sie laut schnarchen, im Schlaf nicht mehr atmen oder unter Tagesschläfrigkeit leiden, insbesondere am Steuer, suchen Sie einen Arzt auf, auch wenn ein Chatbot sagt, dass er warten kann.
Quellen
- European Respiratory Society: In einem Drittel der Fälle beruhigen KI-Chatbots Schlafapnoe-Patienten fälschlicherweise
- Medical Xpress: KI-Chatbots beruhigen Schlafapnoe-Patienten fälschlicherweise
- News Medical: KI-Chatbots beruhigen Schlafapnoe-Patienten fälschlicherweise, wie Studienergebnisse zeigen
Eine kleine Fähigkeit namens i-have-adhd wurde viral, weil sie Programmieragenten dazu brachte, auf den Punkt zu kommen
Eine kostenlose Skill-Datei, die zehn Regeln für Codierungsassistenten durchsetzt, steht ganz oben auf Hacker News. Es existiert, weil Frontier-Modelle die eigentliche Lösung immer wieder unter drei Absätzen des Räusperns begraben und die Lösung für alle funktioniert.
