Un tableau de bord de l'IA plus strict élargit l'écart entre les modèles ouverts et fermés
Artificial Analysis a reconstruit son Intelligence Index avec des tests majoritairement privés, et l'écart entre les meilleurs modèles ouverts et les leaders est passé de 3 points à 12.
Artificial Analysis, une entreprise qui évalue les modèles d’IA, a publié la version 5 de son Intelligence Index, et la situation a changé. Selon le nouveau score, la distance entre les meilleurs modèles ouverts et le sommet du classement est de 12 points, contre 3 sous l’ancien indice. Kimi K3.1 Pro, le modèle open-weight de Moonshot AI lancé la semaine dernière, est passé de la quatrième à la neuvième place, derrière huit modèles fermés. The Decoder rapporte également que Grok 4.7 a perdu 12 points, bien que son nouveau classement n’ait pas été communiqué.
Le principal changement réside dans la façon dont les tests sont construits. Pour la première fois, 60 % de l’indice repose sur des ensembles de tests privés, des questions que les laboratoires ne peuvent pas voir à l’avance. L’objectif est de mettre fin à ce que la communauté appelle le « benchmaxxing » : former un modèle sur les questions exactes sur lesquelles il sera noté, comme un étudiant qui aurait mémorisé l’examen de l’année dernière. Artificial Analysis a également corrigé des questions ambiguës ou erronées dans AA-Omniscience, son test de connaissances factuelles. L’article de The Decoder ne répertorie pas les partitions complètes, la source principale est donc l’article Artificial Analysis qu’il cite.
Ce qu’il y a derrière : un benchmark est un examen standardisé pour les modèles d’IA, et chaque examen finit par être joué une fois les réponses divulguées. Passer aux questions privées est la solution habituelle. Ce n’est pas non plus toute l’histoire. Le chercheur en IA Nathan Lambert affirme que de nombreux gains proviennent de l’apprentissage par renforcement (formation d’un modèle en récompensant les bonnes réponses) dans des environnements de pratique qui ressemblent aux tests, et que la construction de ces environnements à grande échelle nécessite une infrastructure dont tous les laboratoires ne disposent pas. En d’autres termes, les laboratoires fermés pourraient simplement être mieux équipés, et pas seulement meilleurs pour tricher ou être honnêtes.
Il y a aussi un compromis. Avec les questions privées, les personnes extérieures ne peuvent pas vérifier les invites pour détecter les erreurs, et les correctifs apportés à AA-Omniscience montrent que de telles erreurs se produisent réellement. Transparent mais jouable, ou caché mais invérifiable : ni l’un ni l’autre n’est parfait.
Ce que cela signifie pour vous : si vous débutez dans ce domaine, les choses à retenir sont simples. Un seul score dans un classement est un guide approximatif, pas un verdict, et il peut varier considérablement lorsque le test change. Si vous utilisez des modèles ouverts pour des raisons de confidentialité ou de coût, les nouveaux chiffres vous rappellent de tester les candidats sur vos propres tâches plutôt que de vous fier à un classement. Un écart de 12 points sur un index ne signifie pas un écart de 12 points pire pour vos emails ou vos feuilles de calcul. Et si une annonce de lancement cite un classement, vérifiez quelle version de l’index elle a utilisée.
Sources
Sources: https://the-decoder.com/new-artificial-analysis-index-widens-the-gap-between-open-and-closed-models/
Les agents IA d'une startup de sécurité ont pénétré dans les systèmes commerciaux d'Anthropic, et les deux parties le disent différemment
Les chercheurs de Cathedral ont utilisé des agents IA pour accéder à certains logiciels professionnels tiers d'Anthropic. Anthropic confirme un accès limité et indique que les discussions, les codes et les poids des modèles Claude n'ont pas été modifiés.
