Un modèle ouvert allemand avait des réponses de test dans ses données d’entraînement, et c’est grâce à son ouverture que nous le savons

Soofi S est un modèle de langage ouvert de 30 milliards de paramètres, développé par un consortium de recherche allemand et entraîné sur le cloud de Deutsche Telekom à Munich. Lors de son lancement à la mi-juillet, il revendiquait la première place parmi les modèles entièrement ouverts dans les tests en allemand comme en anglais. Dans la version 3.0 de son rapport technique, publiée cette semaine, l’équipe reconnaît désormais que certains de ces tests étaient compromis : des questions de GPQA, un benchmark scientifique, s’étaient retrouvées dans les données d’entraînement.

La cause est d’une banalité presque ennuyeuse, ce qui la rend justement instructive. Sur Hugging Face, GPQA ne comporte pas de partie d’entraînement distincte. Tout son matériel de test se trouve sous l’étiquette par défaut « train ». Le pipeline de données du consortium sélectionnait le contenu en fonction du nom de cette partie. Lorsqu’il a importé ce qu’il pensait être des questions d’entraînement, il a donc importé l’examen. Le jeu de données concerné ne devait contenir que des reformulations des parties d’entraînement de 25 benchmarks courants.

Pourquoi est-ce important ? Un benchmark n’est utile que si le modèle n’a pas vu les réponses. Lorsque des questions de test se glissent dans les données d’entraînement, le modèle peut obtenir un bon score en se souvenant plutôt qu’en raisonnant, et le chiffre cesse de mesurer ses capacités. Les chercheurs parlent de contamination. C’est l’une des raisons, plus discrètes, pour lesquelles il faut se méfier des classements en général. Le problème passe souvent inaperçu, car la plupart des modèles sont entraînés sur des données que personne hors du laboratoire ne peut examiner.

C’est l’élément de cette histoire sur lequel il faut s’attarder. Personne au sein du consortium n’a détecté l’erreur. La communauté l’a découverte en lisant les données d’entraînement publiées, qui sont accessibles à tous parce que le projet s’était engagé à ce degré de transparence. Soofi S est diffusé avec les poids du modèle, les points de contrôle intermédiaires, le code d’entraînement et d’évaluation ainsi qu’un inventaire détaillé de toutes les sources de données, y compris celles qui ont été examinées puis rejetées. L’équipe a supprimé GPQA de l’évaluation et recalculé les résultats des 16 modèles comparés afin de préserver l’équité. Selon les auteurs, l’ordre du classement n’a pas changé.

Une réserve s’impose dans les deux sens. C’est un incident embarrassant et les chiffres du lancement initial étaient erronés. Mais il démontre aussi que l’approche ouverte tient sa promesse : les erreurs apparaissent, sont nommées et corrigées publiquement. Un modèle fermé ayant commis la même erreur conserverait simplement son score. Le même rapport avait déjà suscité un débat public lorsque des critiques avaient estimé que le modèle avait été entraîné sur bien plus de données que ne le préconisent les règles classiques de mise à l’échelle ; l’équipe avait alors répondu en exposant son raisonnement plutôt qu’en gardant le silence.

Ce que cela signifie pour vous : Deux enseignements pratiques. Premièrement, lorsque vous voyez un modèle en tête d’un classement, rappelez-vous que son score est une affirmation, et non une mesure, tant que personne ne peut contrôler les données d’entraînement. Deuxièmement, si vous tenez à pouvoir vérifier ce que vous utilisez, l’ouverture n’est pas qu’une préférence idéologique. C’est le mécanisme qui a permis cette correction. Pour l’usage quotidien, rien ne change : Soofi S reste un modèle ouvert performant, centré sur l’allemand, et sa place dans le classement a résisté au nouveau calcul.

Sources

• Projet Soofi : rapport technique de préentraînement
• Page du modèle Soofi S
• The Decoder : le consortium allemand d’IA publie Soofi S