Un marcador de IA más estricto amplía la brecha entre los modelos abiertos y cerrados
Artificial Analysis reconstruyó su Intelligence Index con pruebas en su mayoría privadas, y la brecha entre los mejores modelos abiertos y los líderes creció de 3 puntos a 12.
Artificial Analysis, una empresa que clasifica modelos de IA, lanzó la versión 5 de su Intelligence Index y el panorama cambió. Según la nueva puntuación, la distancia entre los mejores modelos abiertos y la cima de la clasificación es de 12 puntos, frente a los 3 del índice anterior. Kimi K3.1 Pro, el modelo open-weight de Moonshot AI que se lanzó la semana pasada, cayó del cuarto lugar al noveno, detrás de ocho modelos cerrados. The Decoder también informa que Grok 4.7 perdió 12 puntos, aunque no se proporcionó su nueva clasificación.
El principal cambio es cómo se construyen las pruebas. Por primera vez, el 60 por ciento del índice se basa en conjuntos de pruebas privadas, preguntas que los laboratorios no pueden ver de antemano. El objetivo es detener lo que la comunidad llama “benchmaxxing”: entrenar un modelo en las preguntas exactas por las que se calificará, como un estudiante que memorizó el examen del año pasado. Artificial Analysis también solucionó preguntas ambiguas o defectuosas en AA-Omniscience, su prueba de conocimiento fáctico. El artículo de The Decoder no enumera las partituras completas, por lo que la fuente principal es el artículo de Artificial Analysis que cita.
Qué hay detrás de esto: un benchmark es un examen estandarizado para modelos de IA, y cada examen eventualmente se juega una vez que se filtran las respuestas. Pasar a preguntas privadas es la solución habitual. Tampoco es toda la historia. El investigador de IA Nathan Lambert sostiene que muchos beneficios provienen del aprendizaje por refuerzo (entrenar un modelo recompensando las buenas respuestas) en entornos de práctica que se parecen a las pruebas, y que construir esos entornos a escala requiere una infraestructura que no todos los laboratorios tienen. En otras palabras, es posible que los laboratorios cerrados simplemente estén mejor equipados y no sólo sean mejores para hacer trampa o ser honestos.
También hay una compensación. Con preguntas privadas, los extraños no pueden comprobar las indicaciones en busca de errores, y las correcciones de AA-Omniscience muestran que esos errores realmente ocurren. Transparente pero jugable, u oculto pero no verificable: ninguno de los dos es perfecto.
Qué significa esto para ti: si eres nuevo en esto, la conclusión es sencilla. Una puntuación única en una tabla de clasificación es una guía aproximada, no un veredicto, y puede variar mucho cuando cambia la prueba. Si utiliza modelos abiertos por razones de privacidad o costos, los nuevos números son un recordatorio para probar a los candidatos en sus propias tareas en lugar de confiar en una clasificación. Una brecha de 12 puntos en un índice no significa 12 puntos peor para sus correos electrónicos u hojas de cálculo. Y si un anuncio de lanzamiento menciona una clasificación, verifique qué versión del índice utilizó.
Fuentes
Fuentes: https://the-decoder.com/new-artificial-analysis-index-widens-the-gap-between-open-and-closed-models/
Los agentes de inteligencia artificial de la startup de seguridad ingresaron a los sistemas comerciales de Anthropic y ambas partes lo dicen de manera diferente
Los investigadores de Cathedral utilizaron agentes de inteligencia artificial para llegar a parte del software empresarial de terceros de Anthropic. Anthropic confirma el acceso limitado y dice que los chats, el código y los pesos de los modelos de Claude no se modificaron.
