Intelligence Index

Comparer les modèles d’IA est compliqué, car chaque modèle est testé sur une pile différente de références et chaque laboratoire sélectionne ceux qui le flattent. L’Intelligence Index est la société d’analyse comparative indépendante, Artificial Analysis, qui tente de résoudre ce problème : elle exécute elle-même un ensemble fixe d’évaluations sur les modèles et combine les résultats en un seul nombre, afin que vous puissiez aligner les modèles côte à côte.

Traitez-le comme un guide approximatif plutôt que comme un verdict. Un seul score masque les tâches pour lesquelles un modèle est bon, et un modèle qui obtient un score global inférieur peut toujours être le meilleur choix pour votre travail particulier. Il est très utile pour vérifier la cohérence des allégations marketing et pour repérer le compromis entre l’intelligence d’un modèle et sa rapidité ou son coût d’exécution.