Die FDA hat 1.357 KI-Medizinprodukte zugelassen. Bei drei wurde getestet, ob es den Patienten besser ging

Forscher unter der Leitung von Rawan Abulibdeh von der University of Toronto haben jedes KI-basierte medizinische Gerät, das die US-amerikanische Food and Drug Administration für die Patientenversorgung zugelassen hat, untersucht und eine einfache Frage gestellt: Wurde jemals getestet, ob es den Patienten tatsächlich besser ging? Von 1.357 Geräten waren 34 mit einer registrierten klinischen Studie verbunden. Zwölf wurden Ergebnisse veröffentlicht und einer Peer-Review unterzogen. Drei bewerteten patientenzentrierte Ergebnisse wie Tod, Schlaganfall, Krankenhausaufenthalt oder Lebensqualität. Die Analyse wurde am 19. August in PLOS Digital Health veröffentlicht.

Die Lücke ist weniger ein Skandal als vielmehr ein Designmerkmal, und das Verständnis dafür ist der nützliche Teil. Die meisten medizinischen KI-Geräte gelangen über einen Weg auf den US-Markt, der vom Hersteller den Nachweis einer „wesentlichen Gleichwertigkeit“ mit einem bereits zugelassenen Gerät erfordert. Das bedeutet, dass gezeigt werden muss, dass das neue Ding vergleichbar mit dem alten funktioniert, typischerweise durch Vergleichen oder Übertreffen bei einer technischen Aufgabe: Erkennen eines Knötchens auf einem Scan, Erkennen eines unregelmäßigen Herzrhythmus, Vermessen einer Struktur. Von niemandem wird der Nachweis verlangt, dass die Anwendung die Patienten gesünder macht. Bei der Freigabe handelt es sich um eine Aussage über die Gleichwertigkeit, nicht über den Nutzen.

Diese beiden Dinge gehen häufiger auseinander, als man hoffen würde. Ein Tool kann messbar besser darin sein, etwas zu erkennen und dennoch die Ergebnisse nicht zu verbessern, weil es Befunde markiert, die niemals Schaden angerichtet hätten, oder weil die Markierung bei einem Kliniker ankommt, der bereits überlastet ist, oder weil der Folgetest ein eigenes Risiko birgt. Dies ist ein gut dokumentiertes Muster in der Screening-Medizin im Allgemeinen, lange bevor KI auftauchte. Die Autoren weisen auch auf ein zweites Problem hin: Die vorhandenen Beweise stammen überwiegend aus gut ausgestatteten Umfeldern und schließen schwangere Frauen, Erwachsene über 75 und Menschen, die kein Englisch sprechen, systematisch aus. Das sind keine Randfälle. Es handelt sich um große Ausschnitte der Menschen, auf die diese Werkzeuge gerichtet sein werden.

Nichts davon bedeutet, dass die 1.357 Geräte unbrauchbar sind. Viele von ihnen tun genau das, was sie sollten. Die Behauptung im Papier ist enger gefasst und schwieriger zu argumentieren: Bei fast allen wissen wir es nicht, weil die Frage nie auf eine Weise gestellt wurde, die zu einer Antwort führen würde. Die Autoren plädieren für überarbeitete Zulassungsvoraussetzungen hinsichtlich Wirksamkeit und Gerechtigkeit, nicht dafür, etwas vom Markt zu nehmen.

Was das für Sie bedeutet: Wenn Sie Patient sind, bedeutet die „FDA-Zulassung“ für ein KI-Gesundheitsprodukt, dass es einen Vergleichstest bestanden hat, und nicht, dass eine Studie gezeigt hat, dass es hilft. Das sollten Sie wissen, bevor Sie eine Marketingseite lesen, und es ist eine berechtigte Frage, die Sie einem Arzt stellen können: Was verändert dieses Tool an meiner Pflege? Wenn Sie in der Nähe von Gesundheitstechnologie arbeiten, ist dieser Befund ein nützlicher Spiegel, um Ihren eigenen Ansprüchen gerecht zu werden. Und für alle anderen gibt es eine allgemeine Lektion, die weit über die Medizin hinausgeht: Ein System kann in dem, woran es gemessen wird, hervorragend sein und dennoch das, was einem wirklich am Herzen liegt, nicht bewegen. In dieser Lücke herrscht die größte Enttäuschung über KI-Tools, und sie ist fast immer im Voraus sichtbar, wenn man fragt, was gemessen wurde.

Quellen

• Medical Xpress: Die meisten zur Verwendung zugelassenen medizinischen KI-Geräte wurden nicht auf Patientenergebnisse getestet
• Nachrichten Medizin: Von der FDA zugelassene medizinische KI wurde selten auf reale Vorteile getestet
• FDA: KI-fähige medizinische Geräte