Un nuovo benchmark medico chiede se l'IA sa quando non sa
RadLE 2.0 valuta modelli IA sui casi radiologici penalizzando le risposte sicure ma errate e accettando un onesto «Non lo so». Diversi modelli danno ancora diagnosi sbagliate con alta fiducia.
La maggior parte dei benchmark IA chiede quante risposte siano giuste. Un nuovo benchmark di radiologia del CRASH Lab dell’Ashoka University ne chiede una più importante in ospedale: quando il modello sbagliava, almeno sembrava incerto? Radiology’s Last Exam 2.0, pubblicato questo mese, nasce dall’idea che una diagnosi sbagliata ma sicura sia più pericolosa di un onesto riconoscimento di ignoranza.
Radiologi umani e 16 modelli IA affrontano 200 casi di diagnosi radiologica su singola immagine. Per ogni caso danno diagnosi e fiducia da 0 a 4 oppure «Non lo so». Il Confidence Weighted Index assegna punti alle risposte corrette pesati per sicurezza e ne sottrae alle errate nello stesso modo; «Non lo so» non vale né premio né penalità. Chi indovina spesso e con sicurezza scende anche se l’accuratezza grezza è rispettabile. Quattro valori secondari coprono affidabilità, accuratezza, sicurezza ed essere pronti a passare il caso a un umano.
I risultati sono sobri. Diversi modelli proprietari di frontiera hanno molti errori ad alta fiducia, dunque la sicurezza non segnala una diagnosi affidabile. Modelli a pesi aperti e medico-visivi-linguistici fanno peggio: alcuni tentano quasi ogni caso, ne risolvono pochi e danno molti errori con fiducia media o alta. Gli esperti umani bilanciano meglio, pur non essendo perfetti. In RadLE 1.0 lo scorso settembre i radiologi esperti facevano circa l’83 per cento contro il 30 del miglior modello; entro tre mesi Gemini 3.0 Pro aveva superato i tirocinanti. La capacità avanza, la calibrazione no.
Se i benchmark premiano solo l’accuratezza, indovinare è sempre la strategia migliore: così l’addestramento lo incoraggia. Kalai e colleghi lo hanno sostenuto in Nature e RadLE 2.0 tenta di cambiare l’incentivo. Conta ora perché pazienti caricano già scansioni e cartelle in chatbot, e ancorare un modello a linee guida mediche reali funziona solo se prima riconosce di non conoscere la risposta.
Cosa significa per te: Una risposta fluida e sicura a un sintomo o a una scansione non è un secondo parere, e il modello non sa dirti in modo affidabile quanto dovrebbe essere sicuro. Se costruisci o compri sistemi IA, chiedi non solo quante volte abbiano ragione, ma cosa facciano quando sono incerti e se restituiscano un caso. Un sistema incapace di dire «Non lo so» è un sistema di cui non puoi usare le risposte sicure.
Fonti
SAP ha appena investito oltre un miliardo di euro nell'IA che legge fogli di calcolo, non chat
SAP ha concluso l'acquisizione della start-up di Friburgo Prior Labs e vi ha impegnato oltre un miliardo di euro. La scommessa è sui modelli fondamentali tabulari, IA per tabelle e database invece che per testo.
