Ein neuer medizinischer Benchmark fragt, ob KI weiß, wann sie etwas nicht weiß
RadLE 2.0 bewertet KI-Modelle bei Radiologiefällen, indem es selbstsicher falsche Antworten bestraft und ein ehrliches „Ich weiß es nicht“ gelten lässt. Mehrere Modelle stellen weiterhin falsche Diagnosen mit hoher Sicherheit.
Die meisten KI-Benchmarks stellen eine Frage: Wie viele Antworten hatte das Modell richtig? Ein neuer Radiologie-Benchmark des CRASH Lab an der Ashoka University stellt eine zweite Frage, die in einem Krankenhaus wichtiger ist: Klang das Modell wenigstens unsicher, wenn es falsch lag? Radiology’s Last Exam 2.0, das diesen Monat veröffentlicht wurde, beruht auf der Idee, dass eine selbstsicher falsche Diagnose gefährlicher ist als ein ehrliches Eingeständnis von Unwissen.
Der Aufbau ist einfach. Menschliche Radiologinnen und Radiologen sowie 16 KI-Modelle bearbeiten jeweils 200 Radiologiefälle zur „Blickdiagnose“ mit einem einzelnen Bild. Für jeden Fall dürfen sie eine Diagnose mit einem Vertrauenswert von 0 bis 4 angeben oder schlicht „Ich weiß es nicht“ antworten. Die Hauptwertung, der Confidence Weighted Index, vergibt Punkte für richtige Antworten, gewichtet nach Sicherheit, und zieht sie für falsche Antworten auf dieselbe Weise ab. „Ich weiß es nicht“ bringt weder Punkte noch Abzug. Ein Modell, das laut und häufig rät, fällt in der Rangliste, selbst wenn seine reine Trefferquote respektabel aussieht. Vier ergänzende Werte runden das Bild ab: Zuverlässigkeit, wie oft selbstsichere Antworten wirklich richtig sind, einfache Genauigkeit, Sicherheit, das Vermeiden selbstsicherer Fehler, und die Bereitschaft zur Übergabe, also zu wissen, wann ein Fall an einen Menschen weitergereicht werden sollte.
Die Ergebnisse sind ernüchternd, ohne abwertend zu sein. Mehrere proprietäre Spitzenmodelle erzeugten eine erhebliche Zahl hochsicherer Fehler. Ihre Sicherheit lässt sich also nicht als Signal dafür lesen, dass die Diagnose vertrauenswürdig ist. Modelle mit offenen Gewichten und medizinische Seh-Sprachmodelle schnitten schlechter ab: Manche versuchten fast jeden Fall, stellten wenige richtige Diagnosen und lieferten viele der falschen mit mittlerer oder hoher Sicherheit. Menschliche Fachleute fanden eine bessere Balance, wobei die Forschenden ausdrücklich sagen, dass auch Radiologinnen und Radiologen nicht perfekt sind. Zum Vergleich: In RadLE 1.0 im vergangenen September erreichten Fachradiologen rund 83 Prozent, während das beste KI-Modell auf etwa 30 Prozent kam. Innerhalb von drei Monaten hatte Gemini 3.0 Pro Radiologie-Auszubildende überholt. Die Fähigkeit entwickelt sich eindeutig schnell. Die Kalibrierung nicht.
Der Grund für diese Lücke ist fast banal. Wenn Benchmarks nur Genauigkeit belohnen, ist Raten immer die bessere Strategie; genau dieses Verhalten wird also im Training gefördert. Ein Artikel von Kalai und Kollegen in Nature argumentierte genau so, und RadLE 2.0 ist ein Versuch, den Anreiz zu ändern. Das ist jetzt wichtig, weil Patienten bereits Scans und Unterlagen in allgemeine Chatbots hochladen und weil ein Modell nur dann sinnvoll auf echte medizinische Leitlinien gestützt werden kann, wenn es zunächst erkennt, dass es die Antwort nicht weiß.
Was das für dich bedeutet: Wenn du jemals ein Symptom oder einen Scan in einen Chatbot eingefügt hast, nimm dies als praktische Warnung: Eine flüssige, selbstsichere Antwort ist keine zweite Meinung, und das Modell kann dir nicht verlässlich sagen, wie sicher es sein sollte. Wenn du KI-Systeme entwickelst oder einkaufst, reicht die übertragbare Lehre weit über die Medizin hinaus. Frage jeden Anbieter nicht nur, wie oft das System richtig liegt, sondern auch, was es tut, wenn es unsicher ist, und ob es einen Fall zurückgeben kann. Ein System, das nicht „Ich weiß es nicht“ sagen kann, ist ein System, dessen selbstsichere Antworten du nicht nutzen kannst.
Quellen
SAP investiert mehr als eine Milliarde Euro in KI, die Tabellen statt Chats liest
SAP hat die Übernahme des Freiburger Start-ups Prior Labs abgeschlossen und mehr als eine Milliarde Euro dafür zugesagt. Die Wette gilt tabellarischen Basismodellen, also KI für Tabellen und Datenbanken statt für Text.
