Le dernier modèle d'Alibaba obtient de meilleurs résultats et devine davantage : le taux d'hallucinations passe de 23 à 40 %
Qwen3.8 Max a gagné 10 points sur l'indice d'intelligence d'analyse artificielle, correspondant à Claude Opus 4.8. Il est également devenu plus lent, plus coûteux par tâche et beaucoup plus disposé à inventer une réponse plutôt qu’à admettre qu’il ne sait pas.
Le Qwen3.8 Max d’Alibaba obtient un score de 56 sur l’indice d’intelligence analytique artificielle, un bond de 10 points par rapport à son prédécesseur Qwen3.7 Max et suffisamment pour égaliser avec Claude Opus 4.8. Sur GDPval-AA, un benchmark construit autour de tâches de travail réalistes, il bondit de 468 points Elo à 1 739, dépassant Kimi K3 et ne laissant devant lui que Claude Opus 5. C’est un véritable pas en avant dans une seule version.
Maintenant le reste du tableau. Kimi K3 obtient toujours un point de plus, à 57, et le fait pour environ 25 % d’argent en moins. Et la façon dont Qwen3.8 Max obtient son score est coûteuse : il faut 64 étapes par tâche là où la version précédente en prenait 14, et le texte saisi qu’il traite a été multiplié par quinze, car chaque étape renvoie toute la conversation jusqu’à présent. Alibaba a réduit ses prix, les intrants passant de 2,50 à 2,00 dollars par million de jetons et la production de 7,50 à 6,00, et le coût par tâche a encore plus que doublé, de 0,53 à 1,14 dollars. Kimi K3 coûte 0,86, GLM-5.2 coûte 0,57.
Deux scores ont également reculé. AA-LCR, qui teste si un modèle peut rassembler des faits dispersés dans un très long document, a perdu 2 points. AA-Omniscience a chuté de 10. Ce deuxième chiffre est intéressant, en raison de ce qu’il mesure.
Que se passe-t-il réellement ici
AA-Omniscience ne se contente pas de demander si un modèle répond correctement. Il récompense également le fait de dire « je ne sais pas ». Qwen3.8 Max a obtenu environ 31 % de bonnes réponses, soit à peu près la même chose qu’avant. Mais son taux d’hallucinations, c’est-à-dire la part des réponses qui étaient fausses plutôt que de diminuer, a grimpé de 23 à 40 pour cent. En termes simples : il n’est pas devenu plus informé, il est devenu plus audacieux. Il devine désormais dans des situations où la version précédente aurait admis une lacune.
Ce compromis est facile à produire par accident. Former un modèle pour qu’il soit plus utile, plus persistant et meilleur dans les tâches longues en plusieurs étapes le pousse à toujours produire quelque chose. Le même instinct qui lui fait franchir 64 étapes pour terminer un travail lui fait également remplir un fait qu’il n’a pas. C’est un bon exemple de la raison pour laquelle un numéro de titre ne décrit jamais un modèle et pourquoi la métrique à laquelle vous devez vous soucier dépend entièrement de l’utilisation que vous en faites.
Ce que cela signifie pour vous: si vous choisissez un modèle, regardez au-delà du score principal et regardez deux choses : le coût par tâche terminée, et non le prix par million de jetons, et le comportement du modèle lorsqu’il ne sait pas quelque chose. Pour la recherche, la synthèse de documents ou tout ce sur quoi vous allez agir, un modèle qui admet des lacunes vaut plus qu’un modèle qui obtient deux points de plus. Pour un travail long et structuré où vous vérifiez quand même le résultat, le profil approfondi mais coûteux peut vous convenir. Et quel que soit celui que vous utilisez, considérez un ton confiant comme un style d’écriture et non comme une preuve.
Sources
Quand l'IA écrit une histoire pour enfants sur les animaux, les personnages féminins disparaissent presque
Une étude de l’Université de Washington a analysé près de 24 000 histoires complétées par six modèles phares. Deux pour cent des personnages animaux étaient des femmes, 41 pour cent des hommes et 57 pour cent neutres ou sans sexe. Les chercheurs soutiennent que les garde-fous destinés à empêcher les préjugés en sont la cause.
