Google verrouille son propre modèle hors des questions de test
DeepMind et le Singapore AI Safety Institute ont mené la première évaluation en double aveugle d'un modèle frontière propriétaire. L’évaluateur ne voit jamais les pondérations, Google ne voit jamais les questions et la cryptographie applique les deux.
Si vous connaissiez les questions de l’examen à l’avance, votre note parfaite ne voudrait rien dire. C’est à peu près le problème des benchmarks d’IA aujourd’hui, et Google DeepMind vient de lancer un projet pilote conçu pour le résoudre. En collaboration avec le Singapore AI Safety Institute et d’autres partenaires, il a réalisé ce qu’il décrit comme la première évaluation en double aveugle d’un modèle frontière exclusif. Un modèle de la gamme Gemini Flash Lite a été testé par rapport à des références que Google n’a jamais vues.
Le problème a un nom : la contamination de référence. Si les questions du test se trouvaient quelque part dans les données d’entraînement d’un modèle, son score vous indique qu’il a bien mémorisé, pas qu’il raisonne bien. Jusqu’à présent, des évaluations externes sensibles imposaient un choix délicat. Soit l’évaluateur a transmis ses invites de test, ce qui signifie que le fournisseur de modèles a vu les questions et a pu les optimiser, soit le fournisseur a transmis ses pondérations de modèle, ce qui impliquait de risquer sa propriété intellectuelle la plus précieuse. Aucune des deux parties ne voulait commencer. DeepMind cite un exemple récent des frictions qui en résultent : l’évaluation ARC-AGI retardée du Fable 5 d’Anthropic, retardée parce qu’Anthropic applique une politique de conservation des données de 30 jours sur ses modèles les plus puissants.
Le pilote supprime le choix d’utiliser Confidential Space, qui fait partie des outils informatiques confidentiels de Google Cloud. Les données de test et le modèle s’exécutent dans un environnement cryptographiquement scellé qui vérifie que chaque côté reste privé de son propriétaire. L’évaluateur ne voit jamais les poids Gémeaux. Google ne voit jamais les invites. Jusqu’à présent, cela était géré avec des promesses et des contrats de zéro journalisation, c’est-à-dire avec confiance. L’ajout d’une garantie technique en plus est la vraie nouveauté.
Que se passe-t-il réellement ici : les benchmarks sont la façon dont l’ensemble du secteur parle de progrès, et presque tous les chiffres que vous lisez dans un article de lancement ont été produits par la société qui a fabriqué le modèle, sur la base de tests qu’elle a pu voir. Personne ne triche nécessairement, mais la structure des incitations est terrible, et il n’y a aucun moyen pour un étranger de distinguer un modèle véritablement compétent d’un modèle bien préparé. L’évaluation indépendante ne fonctionne que si l’évaluateur peut garder ses questions secrètes, et les questions secrètes étaient exactement ce que l’ancien système ne pouvait pas offrir. Cela est particulièrement important là où les enjeux sont les plus élevés : les tests de cybersécurité et les évaluations menées par des agences gouvernementales qui ne peuvent pas confier leur matériel à une entreprise privée. Cela vaut cependant la peine de garder les attentes fondées. Il s’agit d’un pilote, sur un petit modèle, et DeepMind est à la fois le sujet et la partie qui annonce le résultat.
Ce que cela signifie pour vous : considérez cela comme une raison pour lire les chiffres de référence avec un peu plus de scepticisme, pas moins. La prochaine fois qu’un modèle lancé vous indiquera qu’il a obtenu un score de 94 % sur quelque chose, les questions à garder à l’esprit sont de savoir qui a écrit le test, si le laboratoire a pu le voir au préalable et si quelqu’un en dehors de l’entreprise a vérifié. Si cette méthode fait son chemin, certains de ces chiffres commenceront à porter une garantie significative et les autres ne le feront pas, et la différence méritera d’être remarquée. Pour tous ceux qui choisissent des outils plutôt que de les construire, la version pratique reste la même : votre propre semaine d’utilisation réelle vous en dit plus que n’importe quel classement.
Sources
Le texte invisible dans un e-mail a trompé un synthétiseur IA dans les 10 exécutions
Forcepoint a masqué les instructions dans un e-mail en utilisant du texte blanc avec une taille de police nulle. Le lecteur n'a rien vu d'inhabituel. Le résumé d’IA a signalé à chaque fois une fausse facture de 46 200 euros et un faux délai.
