Anthropic permet à un organisme de contrôle externe de travailler à l'intérieur de ses murs
Anthropic a donné à six employés de l'association à but non lucratif METR un accès similaire à ses modèles et à ses travaux de sécurité. METR peut publier ce qu'il trouve, bien que Anthropic puisse supprimer quelques catégories définies.
Anthropic affirme avoir donné à une petite équipe de METR, une organisation à but non lucratif qui teste les capacités à risque des systèmes d’IA, un accès interne à ses modèles et à ses pratiques de sécurité. Six employés de METR disposent désormais du matériel, de l’espace de bureau et des outils internes de l’entreprise, ce que Anthropic décrit comme étant à peu près équivalent à ce dont disposent ses propres équipes de gestion des risques. METR peut alors publier sa propre analyse des niveaux de risque, des incidents et des pratiques d’Anthropic.
Il y a des limites et Anthropic est ouvert à leur sujet. Les données client, les documents légalement privilégiés et les détails de l’architecture du modèle (le plan technique de la façon dont les modèles sont construits) restent en dehors de la table. Anthropic peut exiger des suppressions à l’intérieur de ces catégories et décider de ce qui en fait partie, mais il ne peut pas opposer son veto à la publication. METR, pour sa part, se réserve le droit de dire publiquement quel accès il a réellement obtenu. L’équipe est isolée des autres membres du personnel de METR et travaille dans le cadre d’accords exécutoires.
Anthropic le présente comme le niveau supérieur d’un système à trois niveaux. Les évaluateurs de niveau 1 mènent des enquêtes approfondies et Anthropic approuve ce qu’ils publient. Le niveau 2 peut publier sans approbation, avec le même type de rédaction. Le niveau 3, qui correspond à l’accord de METR, ajoute un accès de type employé. D’autres partenaires obtiennent moins : SecureBio révise le chapitre sur les armes chimiques et biologiques du August Risk Report d’Anthropic, et Accenture et Faculty travaillent sur red-teaming (en essayant délibérément de briser un système pour trouver des points faibles) et de sauvegarder les tests. Les premières discussions avec Hugging Face ont également commencé.
Pourquoi faire cela ? Anthropic affirme que certaines informations relatives à la sécurité ne peuvent pas être rendues publiques, car elles pourraient aider les attaquants ou sont commercialement sensibles. Un groupe extérieur qui peut le voir et est libre de dire ce qu’il pense est une voie intermédiaire entre « faites-nous confiance » et « publiez tout ». The Decoder note que cette décision fait suite à la signature par Anthropic du White House Accord sur Super Intelligence, ce qui inclut la collaboration avec des évaluateurs externes. Anthropic affirme que chaque laboratoire frontalier devrait faire de même.
Une mise en garde juste : il s’agit d’une promesse d’accès, pas d’un résultat. Nous ne savons pas encore ce que METR trouvera, et les règles de rédaction laissent encore à Anthropic le mot à dire sur ce que le public voit.
Ce que cela signifie pour vous : pour la plupart des gens, rien ne change aujourd’hui. Mais si vous vous demandez comment quelqu’un vérifie les affirmations des entreprises d’IA sur leur propre sécurité, voici un exemple concret de réponse. Surveillez les premières conclusions publiées de METR et si elles indiquent que les suppressions étaient justifiées. Ce commentaire vous en dira plus que l’annonce.
Sources
Sources: https://www.anthropic.com/news/an-update-on-independent-evaluators
ChatGPT réside désormais dans Chrome et peut agir sur vos onglets ouverts
L'extension ChatGPT d'OpenAI pour Chrome peut lire plusieurs onglets ouverts à la fois et, en mode Travail, envoyer des messages, remplir des formulaires et télécharger des fichiers pour vous. Il est ouvert à tous les forfaits ChatGPT.
