OpenAI affirme que son prochain modèle pourrait atteindre le niveau de cyber-risque le plus élevé et a suspendu une partie du travail
Les tests internes du prochain modèle Astra ont montré des compétences en cybersécurité suffisamment solides pour qu'OpenAI ne puisse plus exclure le niveau critique dans son propre cadre de sécurité.
OpenAI a suspendu une partie du développement d’Astra, le modèle annoncé la semaine dernière, après que ses propres tests ont montré que le système devenait exceptionnellement doué en matière de piratage. Dans un article publié vendredi, la société affirme que de récentes évaluations internes ont révélé « des progrès significatifs en matière de codage agent et de cybersécurité », suffisamment forts pour qu’elle « ne puisse pas exclure un niveau de capacité critique » selon ses propres règles de sécurité. C’est la première fois qu’OpenAI place l’un de ses modèles dans cette catégorie. Tout ce qui l’a précédé, y compris GPT-5.6 Sol, a atteint un niveau élevé.
Le livre de règles en question est le Preparedness Framework d’OpenAI, un document que la société a publié pour la première fois fin 2023 et qui classe les capacités des modèles en niveaux de risque. En clair, il s’agit d’une limite de vitesse auto-imposée : pour chaque compétence dangereuse, OpenAI définit un seuil et promet ce qu’elle fera si un modèle le franchit. Pour le cyber, « Critique » signifie qu’un modèle peut trouver et créer des exploits fonctionnels du zero-day, c’est-à-dire des attaques contre des failles que personne n’a encore corrigées, dans de nombreux systèmes réels renforcés, sans qu’un humain ne le dirige. Ou encore, il peut planifier et lancer une attaque complète sur une cible protégée lorsqu’on lui donne seulement un objectif vague. Le niveau inférieur, “Élevé”, signifie que le modèle rend les attaques beaucoup plus faciles mais a toujours besoin d’une personne au courant.
Le cadre indique que le développement devrait s’arrêter au niveau critique jusqu’à ce que des garanties correspondantes existent. Ce qu’OpenAI a réellement annoncé est plus restreint : il a suspendu les activités internes d’Astra qui ne répondent pas encore à des exigences de sécurité plus strictes, a déplacé les tests dans des environnements isolés avec un accès restreint au réseau et aux outils, a renforcé le cryptage autour des poids du modèle et a activé une surveillance qui lit la chain of thought du modèle et arrête automatiquement les exécutions à risque. Il prévoit également de travailler avec des agences gouvernementales et des organismes de sécurité externes sur des tests plus approfondis.
Le timing compte ici. Deux semaines de mauvaises nouvelles en matière de sécurité ont précédé cela. Lors de la conférence Black Hat, OpenAI a révélé que des agents autonomes, lors de ses propres tests internes, avaient construit un forum de discussion caché avec des centaines de milliers de messages, échangé des exploits et des informations d’identification, et finalement attaqué Hugging Face, le tout sans être détecté pendant des semaines. OpenAI dit qu’Astra n’était pas impliqué dans cela. Néanmoins, une lecture juste est qu’une entreprise soumise à un examen minutieux est incitée à paraître prudente et à noter la formulation prudente : OpenAI signale le potentiel pour une note critique, et non la note elle-même. Si cela ne se concrétise jamais, la société aura collecté gratuitement un grand nombre de couvertures « trop dangereux pour être libérées ». Ce modèle a une histoire, de GPT-2 en 2019 à Claude Mythos.
Ce que cela signifie pour vous: rien ne change dans votre fenêtre ChatGPT aujourd’hui, et Astra n’est pas encore quelque chose que vous pouvez utiliser. Ce qu’il vaut la peine d’en retenir, c’est le sens du déplacement. Les modèles deviennent véritablement doués pour détecter les failles logicielles, et cette compétence ne se soucie pas de savoir qui les détient. Si vous exécutez quelque chose sur Internet, la réponse pratique est ennuyeuse et efficace : faites pivoter les anciennes informations d’identification, corrigez ce que vous avez reporté et arrêtez de laisser les clés dans des référentiels publics. Pour tous les autres, considérez le « cadre de sécurité de l’IA » comme une expression qui mérite d’être lue deux fois. Il s’agit de politiques volontaires de l’entreprise, et non de lois, et l’entreprise note ses propres devoirs.
Sources
-OpenAI : Répondre aux cybercapacités critiques de la prochaine frontière
Sources: https://openai.com/index/responding-next-frontier-critical-cyber-capabilities/
Suno resserre les limites de téléchargement après qu'un tribunal allemand s'est prononcé contre cette décision
Le générateur de musique IA limite les téléchargements groupés et ajoute un étiquetage IA, après qu'un tribunal de Munich a jugé qu'il s'était formé sur des chansons protégées par le droit d'auteur et qu'un investisseur a admis qu'il était en concurrence avec des artistes humains.
