Une IA lit et réécrit les poids d'une autre IA, avec des preuves mitigées
Les chercheurs du MIT CSAIL ont laissé le GPT-6 Astra modifier directement les pondérations des réseaux neuronaux. Les premiers résultats sont frappants et un critique affirme qu’un chercheur compétent pourrait faire de même.
Un article de blog des chercheurs de MIT CSAIL (Takehi, Teoh, Zhang et Khattab) a été placé hier en tête d’Hacker News. Ils permettent à un frontier model, un GPT-6 Astra de lire et d’écrire directement les poids d’autres réseaux neuronaux. Les poids sont les nombres contenus dans un modèle qui contiennent ce qu’il a appris. Normalement, ils sont modifiés par l’entraînement, par descente de pente (une méthode d’ajustement étape par étape). Ici, aucun optimiseur n’a été utilisé. Les auteurs appellent ces « résultats très précoces ».
Lecture : à partir des seuls poids, Astra a déterminé sur lequel des quatre jeux un réseau de 17 253 poids avait été entraîné. Dans de petits modèles de langage, il nomme la langue d’entraînement et trouve les parties « copie ». Édition : un changement touchant 3,5 % d’un petit réseau a permis à une voiture simulée de réussir les 1 024 épisodes de test, où la version entraînée a échoué 256 sur 256. Dans le petit modèle de langage Qwen3.5-0.8B, Astra a modifié 131 072 poids (0,016 %) pour supprimer les boucles de raisonnement, augmentant le MATH-500 de 7,9 % à 48,1 % et IFEval de 21,0 % à 62,3 % avec 50 passes de test. Écriture à partir de zéro : réseaux écrits sans entraînement battu ou proches de ceux formés sur certains jeux.
Il y a des limites. Astra n’a pas réussi à trouver le modèle flagorneur à partir des seuls poids, et un modèle dépourvu de la compétence sous-jacente (Gemma 3 270M) n’a pas pu être amélioré. Les résultats dépendent de la configuration, y compris des outils et du nombre de passes de test.
Qu’est-ce qui se cache derrière : Considérez-le comme un expert ouvrant une machine et ajustant des pièces à la main, plutôt que de recycler l’usine. Le développeur Sean Goedecke affirme que cette affirmation est exagérée : un chercheur qualifié avec Python pourrait calculer les mêmes cartes thermiques ou utiliser des méthodes de pilotage standard, et il appelle l’exploit de Astra des « mathématiques mentales surhumaines », et non une recherche surhumaine. Les deux lectures peuvent être vraies : il s’agit d’une astuce utile, et ce n’est pas encore le signe d’une nouvelle façon de construire l’IA. Les auteurs affirment qu’ils construisent un benchmark pour le tester correctement.
Ce que cela signifie pour vous : Rien ne change dans les outils que vous utilisez. Pour les lecteurs curieux, il montre des chercheurs se demandant si les modèles peuvent comprendre et corriger les modèles, ce qui pourrait un jour aider à trouver des défauts cachés. Pour les utilisateurs expérimentés, il s’agit d’un rappel de lire la configuration derrière un nombre frappant, car les outils, les tentatives et les budgets de temps expliquent souvent le résultat.
Sources
Sources: https://rikiyat.github.io/blog/weight-space-programming/
Avartha affirme que son IA vocale à modèle ouvert est en tête du classement à 2,50 $ de l'heure
La startup Avartha affirme que son agent vocal Ava Zero, construit uniquement à partir de modèles ouverts, bat OpenAI, Google et xAI à l'issue de la tâche. Les chiffres sont communiqués par l'entreprise.
