La FDA ha autorizzato 1.357 dispositivi medici basati sull'intelligenza artificiale. Tre sono stati testati per verificare se i pazienti fossero migliorati

I ricercatori guidati da Rawan Abulibdeh dell’Università di Toronto hanno esaminato tutti i dispositivi medici basati sull’intelligenza artificiale che la Food and Drug Administration statunitense ha autorizzato per la cura dei pazienti e hanno posto una semplice domanda: è stato mai testato se i pazienti stavano effettivamente meglio? Su 1.357 dispositivi, 34 erano collegati a uno studio clinico registrato. Dodici hanno avuto risultati pubblicati e sottoposti a revisione paritaria. Sono stati valutati tre esiti incentrati sul paziente, quali morte, ictus, ospedalizzazione o qualità della vita. L’analisi è stata pubblicata su PLOS Digital Health il 19 agosto.

Il divario non è tanto uno scandalo quanto una caratteristica del design, e capire perché è la parte utile. La maggior parte dei dispositivi medici basati sull’intelligenza artificiale raggiungono il mercato statunitense attraverso un percorso che richiede al produttore di dimostrare una “sostanziale equivalenza” con un dispositivo già autorizzato. Ciò significa dimostrare che la cosa nuova funziona in modo paragonabile alla cosa vecchia, in genere abbinandola o battendola in un compito tecnico: individuare un nodulo su una scansione, segnalare un ritmo cardiaco irregolare, misurare una struttura. Nessuno è tenuto a dimostrare che il suo utilizzo rende i pazienti più sani. L’autorizzazione è una dichiarazione di equivalenza, non di beneficio.

Queste due cose si separano più spesso di quanto spereresti. Uno strumento può essere sensibilmente migliore nel rilevare qualcosa e tuttavia non migliorare i risultati, perché segnala risultati che non avrebbero mai causato danni, o perché la segnalazione arriva a un medico che è già sovraccarico, o perché il test di follow-up comporta i propri rischi. Questo è un modello ben documentato nello screening medico in generale, molto prima che comparisse l’intelligenza artificiale. Gli autori segnalano anche un secondo problema: le prove esistenti provengono in gran parte da contesti dotati di risorse adeguate ed escludono sistematicamente le donne incinte, gli adulti sopra i 75 anni e le persone che non parlano inglese. Questi non sono casi limite. Sono ampie fette delle persone a cui saranno puntati questi strumenti.

Ciò non significa che i 1.357 dispositivi siano inutili. Molti di loro stanno facendo esattamente quello che dovrebbero. L’affermazione contenuta nel documento è più ristretta e più difficile da contestare: non lo sappiamo, per quasi tutti, perché la domanda non è mai stata posta in modo da produrre una risposta. Gli autori sostengono la necessità di rivedere i requisiti di autorizzazione in termini di efficacia ed equità, non di togliere qualcosa dal mercato.

Cosa significa per te: se sei un paziente, la versione pratica è che “autorizzato dalla FDA” su un prodotto sanitario basato sull’intelligenza artificiale significa che ha superato un test comparativo, non che una sperimentazione abbia dimostrato che è utile. Vale la pena saperlo prima di leggere una pagina di marketing, ed è una domanda giusta da porre a un medico: cosa cambia questo strumento nella mia cura? Se lavori nel campo della tecnologia sanitaria, la scoperta è uno specchio utile per sostenere le tue stesse affermazioni. E per tutti gli altri, c’è una lezione generale che va ben oltre la medicina: un sistema può essere eccellente per ciò su cui si misura e tuttavia non muovere ciò a cui tieni veramente. Questo divario è il luogo in cui risiede la maggior parte della delusione nei confronti degli strumenti di intelligenza artificiale, ed è quasi sempre visibile in anticipo se si chiede cosa è stato misurato.

Fonti

• Medical Xpress: la maggior parte dei dispositivi medici IA autorizzati all’uso non sono stati testati sugli esiti dei pazienti
• News Medical: l’intelligenza artificiale medica approvata dalla FDA raramente viene testata per benefici nel mondo reale
• FDA: dispositivi medici abilitati all’intelligenza artificiale