Un nouveau benchmark médical demande si l'IA sait quand elle ne sait pas
RadLE 2.0 note les modèles IA sur des cas de radiologie en pénalisant les réponses fausses et assurées, tout en acceptant un honnête « Je ne sais pas ». Plusieurs modèles donnent encore des diagnostics erronés avec une grande confiance.
La plupart des benchmarks IA posent une question : combien de réponses le modèle a-t-il justes ? Un nouveau benchmark de radiologie du CRASH Lab de l’université Ashoka en pose une seconde, plus importante à l’hôpital : quand le modèle se trompe, avait-il au moins l’air incertain ? Radiology’s Last Exam 2.0, publié ce mois-ci, repose sur l’idée qu’un diagnostic faux énoncé avec assurance est plus dangereux qu’un aveu honnête d’ignorance.
Le dispositif est simple. Des radiologues humains et 16 modèles IA traitent chacun 200 cas radiologiques de « diagnostic au premier coup d’œil » à image unique. Pour chaque cas, ils peuvent donner un diagnostic assorti d’un niveau de confiance de 0 à 4, ou répondre simplement « Je ne sais pas ». Le score principal, Confidence Weighted Index, attribue des points aux réponses correctes pondérées par la confiance et en retire aux fausses de la même manière ; « Je ne sais pas » n’apporte ni crédit ni pénalité. Un modèle qui devine souvent et avec assurance baisse dans le classement même si son exactitude brute paraît respectable. Quatre scores secondaires complètent l’ensemble : fiabilité, exactitude simple, sécurité, éviter les erreurs assurées, et aptitude à transmettre le cas, c’est-à-dire savoir quand le passer à un humain.
Les résultats sont sobres sans être méprisants. Plusieurs modèles de pointe propriétaires produisent un nombre important d’erreurs avec une confiance élevée ; leur assurance ne doit donc pas être lue comme un signal de diagnostic fiable. Les modèles à poids ouverts et les modèles vision-langage médicaux font moins bien : certains tentent presque tous les cas, donnent peu de diagnostics corrects et expriment bon nombre des erreurs avec une confiance moyenne ou forte. Les experts humains trouvent un meilleur équilibre, même si les chercheurs précisent que les radiologues ne sont pas parfaits. Pour situer, dans RadLE 1.0 en septembre dernier, les radiologues experts atteignaient environ 83 %, contre 30 % pour le meilleur modèle IA ; trois mois plus tard, Gemini 3.0 Pro avait dépassé les internes en radiologie. La capacité avance vite, la calibration non.
Cet écart a une cause presque banale. Si les benchmarks ne récompensent que l’exactitude, deviner reste toujours la meilleure stratégie et c’est ce que l’entraînement encourage. Un article de Kalai et ses collègues dans Nature l’a exactement soutenu, et RadLE 2.0 tente de changer l’incitation. Cela compte déjà, car des patients téléversent scans et dossiers dans des chatbots généralistes, et ancrer un modèle dans de vraies recommandations médicales ne fonctionne que si celui-ci reconnaît d’abord qu’il ne connaît pas la réponse.
Ce que cela signifie pour vous : Si vous avez déjà collé un symptôme ou un scan dans un chatbot, prenez ceci comme l’avertissement pratique : une réponse fluide et sûre d’elle n’est pas un second avis, et le modèle n’a pas de moyen fiable de vous dire à quel point il devrait être certain. Si vous construisez ou achetez des systèmes IA, l’enseignement dépasse largement la médecine. Demandez à tout fournisseur non seulement à quelle fréquence son système a raison, mais ce qu’il fait quand il est incertain et s’il peut rendre un cas. Un système incapable de dire « Je ne sais pas » est un système dont vous ne pouvez pas utiliser les réponses affirmées.
Sources
SAP vient de consacrer plus d'un milliard d'euros à une IA qui lit les tableurs, pas les conversations
SAP a finalisé l'acquisition de la start-up fribourgeoise Prior Labs et lui a consacré plus d'un milliard d'euros. Le pari porte sur les modèles fondamentaux tabulaires, une IA conçue pour les tableaux et bases de données plutôt que pour le texte.
