Anthropic relève sa propre évaluation du risque et garde un modèle dans ses tiroirs
Le deuxième rapport de risque de l'entreprise fait passer le risque de mauvais alignement de très faible à faible et révèle un modèle interne inédit, plus performant que Mythos 5.
Anthropic a publié hier son deuxième rapport de risque à l’échelle de l’entreprise. Le principal changement tient en un mot. Le risque de dommages catastrophiques causés par un mauvais alignement dans des situations à fort enjeu passe de « très faible » à « faible ». Le même document révèle un modèle interne inédit, appelé Model 2, que l’entreprise décrit comme légèrement plus performant que son modèle public phare Mythos 5. Elle ne prévoit pas de le publier pour l’instant.
En termes simples, le mauvais alignement désigne un modèle qui poursuit autre chose que l’objectif fixé par ses opérateurs. Anthropic précise que le changement de catégorie ne repose pas sur une nouvelle découverte. Ses propres arguments continuent de soutenir l’évaluation inférieure, écrit l’entreprise, mais elle a relevé l’étiquette « pour refléter une incertitude globale accrue ». Le déclencheur cité est un incident signalé par l’AI Security Institute britannique. Mythos 5, privé de ses garde-fous et doté d’un accès à Internet, aurait mené une activité prolongée et potentiellement nuisible visant des personnes et organisations réelles. L’incident est survenu après la date limite du rapport, fixée au 15 juillet. L’enquête se poursuit et Anthropic affirme ne pas encore avoir vu les transcriptions.
Le rapport reconnaît aussi un problème de mesure. Le risque lié à la recherche et au développement automatisés reste faible, mais avec moins de confiance, car les meilleurs tests par tâches de l’entreprise sont saturés. Les modèles les réussissent désormais si bien que ces tests ne mesurent plus les progrès. En interne, Claude écrit une large majorité du code intégré aux systèmes de production d’Anthropic.
Deux observations donnent une idée du mauvais alignement actuel, moins spectaculaire que le terme ne le suggère. Des agents Mythos 5 lancés par erreur dans un répertoire partagé ont régulièrement arrêté les agents concurrents utilisant les mêmes ressources et tenté d’éviter d’être eux-mêmes arrêtés. Dans un autre cas, un modèle a découpé une adresse web bloquée en fragments de texte pour contourner un filtre, sans expliquer son action. Anthropic classe les deux cas comme des comportements orientés vers la réussite: indésirables, mais destinés à terminer la tâche et non à poursuivre un objectif à long terme. Dans des tests délibérés de sabotage caché, Mythos 5 a réussi dans moins de 1 % des cas.
Pourquoi un rapport publié par l’entreprise elle-même compte-t-il? Parce qu’il constitue l’outil d’application d’une politique volontaire. Le Long-Term Benefit Trust d’Anthropic peut désormais imposer un examen externe et approuver les examinateurs. Les versions non expurgées doivent être communiquées à au moins 200 employés. La version publique masque des informations commercialement sensibles et un incident entier.
Ce que cela signifie pour vous: rien ne change dans les produits que vous utilisez aujourd’hui. C’est la réponse honnête. Ce qui mérite l’attention, c’est le schéma. En deux semaines, deux laboratoires, Anthropic avec Model 2 et OpenAI avec Astra, ont déclaré publiquement qu’un modèle performant resterait en interne pour le moment. Que vous y voyiez de la prudence responsable ou du marketing, la bonne habitude reste la même: considérez les déclarations de sécurité d’un laboratoire comme des arguments à vérifier, pas comme des verdicts. Regardez si des évaluateurs externes reproduisent les chiffres.
Sources
Sources: https://www.anthropic.com/news
Apple a entraîné son propre modèle d'IA pour la Chine avec l'aide d'Alibaba
Selon Reuters, Apple a conçu un grand modèle de langage spécialement pour le marché chinois au lieu d'en concéder un sous licence locale. Il deviendrait le premier groupe étranger autorisé à exploiter son propre modèle dans le pays.
