Una nueva prueba médica pregunta si la IA sabe reconocer lo que no sabe
RadLE 2.0 puntúa a los modelos de IA en casos radiológicos, penalizando las respuestas erróneas expresadas con seguridad y perdonando un «no lo sé» sincero. Varios modelos siguen ofreciendo diagnósticos equivocados con gran confianza.
La mayoría de las pruebas de IA plantean una pregunta: ¿cuántas respuestas acertó el modelo? Una nueva evaluación radiológica de CRASH Lab, en la Universidad Ashoka, formula una segunda cuestión que importa más en un hospital: cuando el modelo se equivocó, ¿al menos sonó inseguro? Radiology’s Last Exam 2.0, publicada este mes, parte de la idea de que un diagnóstico erróneo expresado con seguridad es más peligroso que una admisión sincera de ignorancia.
El planteamiento es sencillo. Radiólogos humanos y 16 modelos de IA resuelven cada uno 200 casos radiológicos de «diagnóstico puntual» basados en una sola imagen. En cada caso pueden dar un diagnóstico acompañado de una puntuación de confianza de 0 a 4, o responder simplemente «no lo sé». La puntuación principal, el Índice Ponderado de Confianza, concede puntos por las respuestas correctas ponderadas según su grado de confianza y resta puntos por las equivocadas del mismo modo, mientras que «no lo sé» no suma ni resta. Un modelo que se arriesga a menudo y con mucha seguridad cae en la clasificación, aunque su precisión bruta parezca respetable. Otras cuatro puntuaciones completan la evaluación: fiabilidad (con qué frecuencia son correctas las respuestas seguras), precisión simple, seguridad (evitar errores expresados con confianza) y disposición para el traspaso (saber cuándo pasar el caso a una persona).
Los resultados invitan a la cautela, pero no al desprecio. Varios modelos de frontera propietarios produjeron un número considerable de errores con un alto grado de confianza, lo que significa que su seguridad no puede interpretarse como señal de que el diagnóstico sea fiable. A los modelos de pesos abiertos y a los modelos médico-visuales de lenguaje les fue peor: algunos intentaron resolver casi todos los casos, acertaron pocos diagnósticos y dieron muchas de las respuestas equivocadas con una confianza moderada o alta. Los expertos humanos lograron un equilibrio mejor, aunque los investigadores dejan claro que los radiólogos tampoco son perfectos. Como contexto, en RadLE 1.0, el pasado septiembre, los radiólogos expertos obtuvieron alrededor de un 83 %, mientras que el mejor modelo de IA alcanzó cerca del 30 %; tres meses después, Gemini 3.0 Pro ya había superado a los residentes de radiología. La capacidad avanza claramente deprisa. La calibración no lo hace al mismo ritmo.
La razón de esta diferencia es casi prosaica. Si las pruebas solo premian la precisión, adivinar siempre es la mejor estrategia, de modo que el entrenamiento fomenta ese comportamiento. Un artículo publicado en Nature por Kalai y sus colegas expuso exactamente este argumento, y RadLE 2.0 es un intento de cambiar el incentivo. Importa ahora mismo porque los pacientes ya están subiendo exploraciones e historiales a chatbots generalistas, y porque conectar un modelo con directrices médicas reales solo sirve si antes el modelo reconoce que desconoce la respuesta.
Qué significa esto para ti: Si alguna vez has pegado un síntoma o una exploración en un chatbot, toma esto como advertencia práctica: una respuesta fluida y segura no es una segunda opinión, y el modelo carece de un modo fiable de decirte hasta qué punto debería estar seguro. Si desarrollas o compras sistemas de IA, la lección transferible va mucho más allá de la medicina. Pregunta a cualquier proveedor no solo con qué frecuencia acierta el sistema, sino qué hace cuando duda y si puede devolver un caso a una persona. Un sistema incapaz de decir «no lo sé» es un sistema cuyas respuestas seguras no puedes utilizar.
Fuentes
SAP acaba de gastar más de mil millones de euros en una IA que lee hojas de cálculo, no conversaciones
SAP ha completado la adquisición de Prior Labs, una empresa emergente de Friburgo, y le ha destinado más de mil millones de euros. La apuesta son los modelos fundacionales tabulares, una IA diseñada para tablas y bases de datos en vez de texto.
