Un modèle ouvert a désormais des mois, et non des années, derrière la frontière. Ses tests de sécurité ne le sont pas.
Un rapport de SaferAI révèle que le GLM-5.2 ouvert de Z.ai n'est qu'à quelques mois derrière les principaux modèles fermés en matière de capacités cybernétiques et biologiques, et n'a refusé aucune des tâches offensives qui lui ont été confiées. Claude Opus 4.7 a refusé si systématiquement que le test n'a pas pu être complété.
SaferAI, une organisation à but non lucratif spécialisée dans la sécurité de l’IA, a publié une évaluation de GLM-5.2, le modèle open-weight du laboratoire chinois Z.ai, et le chiffre du titre est inconfortable dans les deux sens. En ce qui concerne les capacités cybernétiques et biologiques, GLM-5.2 n’est qu’à quelques mois du GPT-5.5 d’OpenAI et de Claude Opus 4.7 d’Anthropic. Concernant le comportement en matière de sécurité, ce n’est pas la même conversation : en exécutant les tests via l’API publique de Z.ai, SaferAI a constaté que le modèle ne refusait aucune des tâches cyber ou biologiques offensives qui lui étaient confiées. Claude Opus 4.7, en comparaison, a refusé si systématiquement que les chercheurs n’ont pas pu compléter le benchmark CyberGym sur celui-ci.
« Open-weight » signifie que les poids du modèle, les nombres qui composent le modèle formé, sont publiés pour que quiconque puisse les télécharger et les exécuter. C’est tout l’intérêt de la démarche, et c’est aussi là le problème. Z.ai pourrait ajouter des filtres de sécurité à sa propre API hébergée, mais dès que quelqu’un exécute les pondérations sur son propre matériel, ces protections disparaissent. Ils peuvent supprimer les filtres, faire un fine-tune du modèle ou modifier le system prompt. SaferAI affirme que Z.ai n’a publié aucun cadre de sécurité, aucun engagement en matière de tests préalables au déploiement et aucune évaluation des risques pour le modèle, et Z.ai n’a pas répondu aux questions de TechCrunch sur les évaluations internes ou tierces.
Que se passe-t-il réellement ici
“La frontière des capacités n’est pas la frontière du risque”, a déclaré à TechCrunch Henry Papadatos, directeur exécutif de SaferAI. Cette phrase constitue tout l’argument. Pendant des années, le débat ouvert/fermé s’est déroulé sur la question de savoir si les modèles ouverts pouvaient rivaliser. Cette question est réglée, le débat s’est donc déplacé vers ce qui se passe après la sortie des poids.
La complication honnête est que les garanties des laboratoires fermés sont également floues. Far.ai a trouvé des centaines de jailbreaks universels, c’est-à-dire des invites réutilisables qui débloquent les requêtes les plus nuisibles, dans des modèles frontières, notamment Grok 4.5 et Gemini 3.1 Pro. Une technique qui pourrait aider consiste à filtrer les données de formation avant la formation, en supprimant les matières dangereuses afin que les connaissances ne soient jamais apprises. La recherche suggère que cela fonctionne raisonnablement pour la biologie. Cela fonctionne mal pour la cybersécurité, pour une raison directe : il est très difficile de former un modèle excellent en codage mais mauvais en piratage, et c’est dans le codage que se trouve l’argent.
Il y a un véritable contre-argument, exprimé haut et fort cette semaine. Hugging Face a utilisé GLM-5.2 pour se défendre lors de la brèche des modèles préliminaires d’OpenAI en juillet, et le PDG Clem Delangue a fait valoir que les mêmes systèmes qui ont stoppé une attaque alimentée par l’IA peuvent se défendre contre des millions de personnes. Papadatos estime que cet avantage est surestimé et note que les attaquants adoptent de nouveaux outils plus rapidement que les défenseurs : un groupe de ransomware peut changer ses méthodes en une semaine, un hôpital ne le peut pas.
Ce que cela signifie pour vous: si vous exécutez des modèles ouverts localement, rien dans votre journée ne change, et les petits modèles que la plupart des gens utilisent sont loin de cette classe de fonctionnalités. Si vous travaillez dans l’informatique ou la sécurité dans une petite entreprise, la lecture pratique est que la boîte à outils de l’attaquant est à nouveau moins chère, et que les défenses ennuyeuses, les correctifs, les sauvegardes et l’authentification multifacteur comptent plus que n’importe quel nouveau produit d’IA que vous pourriez acheter.
Sources
Sources: https://www.safer-ai.org/research/glm-5-2-evaluation-report
Meta livre Muse Code, un agent de codage qui continue de fonctionner après un crash
Meta a publié Muse Code en version bêta pour macOS et Linux, alimenté par un nouveau modèle Muse Spark 1.2. Ses deux idées intéressantes sont des agents d'arrière-plan qui restent actifs pendant toute une session et un journal d'événements local qui permet à une tâche interrompue de reprendre exactement là où elle s'est arrêtée.
