Le scientifique en chef d'OpenAI déclare qu'aucun laboratoire n'a suffisamment résolu l'alignement pour continuer aussi vite
Jakub Pachocki a publié un essai intitulé An Alien Mind le 6 septembre, affirmant qu'aucun laboratoire n'a suffisamment résolu l'alignement et la surveillance pour continuer à évoluer à la vitesse maximale, et qu'il s'attend à des ralentissements volontaires.
Jakub Pachocki, scientifique en chef d’OpenAI, a publié hier un essai intitulé “An Alien Mind” contenant une phrase inhabituelle venant de la personne qui dirige les recherches dans l’entreprise qui expédie le plus rapidement. Ses mots : “Actuellement, je pense qu’aucun laboratoire n’a résolu l’alignement et la surveillance à un degré suffisant pour continuer à évoluer de manière responsable à vitesse maximale pendant encore longtemps.” Il dit qu’il s’attend et espère des ralentissements volontaires dans l’ensemble de l’industrie jusqu’à ce que des normes de sécurité communes existent.
La contribution utile de cet essai réside dans la distinction entre deux types d’alignement. L’alignement des objectifs consiste à savoir si un système poursuit réellement l’objectif que vous lui avez donné. L’alignement des valeurs consiste à savoir s’il se généralise judicieusement à des situations pour lesquelles personne n’a écrit d’instructions. L’argument de Pachocki est que le premier peut être atteint alors que le second est à la traîne, et que cet écart est le plus dangereux, car un système capable de suivre correctement les instructions dans une situation que personne n’avait anticipée est exactement la raison pour laquelle les choses tournent mal. Il souhaite que les engagements volontaires existants, notamment le cadre de préparation d’OpenAI et la politique de mise à l’échelle responsable d’Anthropic, se transforment en mesures de sécurité obligatoires appliquées par des auditeurs tiers, des agences gouvernementales ou des organismes internationaux. Il décrit le présent comme un moment appelant à une extrême prudence.
Lisez ceci parallèlement à la semaine dans laquelle il a atterri. Quatre modèles Frontier expédiés au cours des trois premiers jours de septembre, OpenAI a publié un modèle qui, selon lui, répond à son propre seuil de cybersécurité, et OpenAI a passé samedi à expliquer pourquoi il n’a jamais divulgué la coordination de ses agents sur un wiki public pendant deux mois. Un essai du scientifique en chef affirmant que les freins doivent être découverts n’est pas distinct de ces événements, c’est une réponse à eux. C’est aussi, et cela vaut la peine de le dire clairement, bon marché dans un sens spécifique : un ralentissement volontaire que seule votre propre entreprise observe est un désavantage concurrentiel, et c’est précisément pourquoi Pachocki plaide en faveur d’une application externe plutôt que de bonnes intentions. La question intéressante n’est pas de savoir s’il est sincère, mais si quelqu’un construit le mécanisme d’audit qu’il réclame, et il n’existe actuellement aucun organisme habilité à le faire.
Ce que cela signifie pour vous. Rien ne change dans les outils sur votre bureau aujourd’hui, et cela vaut la peine de résister aux deux lectures auxquelles ce type d’essai vous invite. Il ne s’agit pas d’un avertissement interne d’une catastrophe imminente, ni d’un marketing déguisé en inquiétude. C’est un leader technique qui affirme que le travail en matière de sécurité n’a pas suivi le rythme du travail sur les capacités, ce que vous pouvez affirmer sans paniquer. Si vous suivez la politique de l’IA, la chose concrète à surveiller au cours des prochains mois est de savoir si l’un des cadres mentionnés ici fait l’objet d’une application externe, car les engagements volontaires et les exigences auditées sont des objets très différents, et un seul d’entre eux survit à une course concurrentielle.
Sources
Une entreprise de sécurité a construit une machine jetable que votre agent de codage peut détruire
Trail of Bits a publié Coop, un outil en ligne de commande qui fait tourner des machines virtuelles jetables sur lesquelles Claude Code et Codex bénéficient d'un accès complet aux outils sans toucher votre propre ordinateur. Il utilise Firecracker sous Linux et Lima sur macOS.
