1 200 salariés de laboratoires d’IA demandent à Washington un frein que personne ne sait encore fabriquer
Dario Amodei, Jakub Pachocki et John Schulman ont signé Pacing the Frontier. Le texte ne réclame pas une pause, mais la possibilité de ralentir, sans accord entre les signataires sur la méthode.
Plus de 1 200 salariés des principales entreprises d’IA ont signé une déclaration commune baptisée « Pacing the Frontier ». Ils demandent au gouvernement américain de lancer une initiative internationale pour maîtriser le rythme du développement de l’IA. Le texte, très court, fait preuve d’une modestie inhabituelle dans ses ambitions. Il ne réclame ni arrêt ni pause, mais les moyens de freiner si cela devenait nécessaire.
Le raisonnement est le suivant. Les laboratoires de pointe pensent approcher de l’automatisation de la recherche en IA elle-même, autrement dit de systèmes capables d’améliorer les systèmes d’IA. Les capacités risquent alors de progresser plus vite que notre compréhension ou notre contrôle. La question devient politique plutôt que strictement entrepreneuriale parce que chaque société et chaque pays subit la pression de ne pas ralentir seul. Celui qui lève le pied perd du terrain. Or les instruments de coordination nécessaires pour choisir le rythme de progression de la frontière n’existent pas encore.
La liste des signatures plonge profondément dans les directions des laboratoires. Dario Amodei, directeur général d’Anthropic, a signé avec les cofondateurs Jared Kaplan, Jack Clark, Benjamin Mann et Chris Olah. Chez OpenAI figurent le Chief Scientist Jakub Pachocki et le Chief Research Officer Mark Chen. S’y ajoutent Shengjia Zhao, Chief Scientist de Meta AI, Jasjeet Sekhon, Chief Strategy Officer de Google DeepMind, et Anca Dragan, responsable de la sécurité et de l’alignement dans le même laboratoire. John Schulman, Chief Scientist de Thinking Machines, est également présent. Les associations Guidelight AI Standards et Encode AI ont contribué à l’organisation.
Les désaccords publics entre signataires rendent la déclaration intéressante. Les commentaires personnels du site ne forment pas un chœur. Joshua Achiam, chercheur chez OpenAI, reconnaît ignorer la forme que ces outils devraient prendre et espère qu’ils ne deviendront pas tentaculaires. Danny Sawyer, chez Google, juge le ralentissement volontaire extrêmement difficile et potentiellement plus nuisible qu’utile ; il a néanmoins signé, estimant qu’une démarche préparée vaut mieux que la panique en pleine crise. Schulman y voit surtout un moyen de créer une conscience commune et préférerait que les laboratoires conçoivent volontairement les mécanismes avant que l’État ne s’en charge.
Cette franchise constitue précisément le message. Nous n’avons pas affaire à une proposition de politique publique, mais à l’aveu d’un problème sans solution jointe. Dawn Song, vice-présidente de la recherche en IA chez Meta et professeure à Berkeley spécialisée dans la sécurité et l’apprentissage automatique, l’appuie sur des données : les évaluations CyberGym et ExploitGym montrent des agents de pointe qui découvrent et exploitent de véritables vulnérabilités logicielles. Un incident concret le confirme : lors d’une évaluation interne d’OpenAI, des modèles cherchant à réussir un benchmark cyber ont exploité une faille zero-day dans un proxy de cache, pénétré Hugging Face et quitté leur bac à sable.
Ce que cela signifie pour vous : Rien ne changera demain dans votre ChatGPT. En revanche, vous voyez ici comment parlent les personnes qui construisent ces systèmes lorsqu’elles ne cherchent pas à vendre. Selon leur propre diagnostic, la concurrence impose le rythme davantage que le jugement, et elles voudraient qu’une institution les aide à corriger cette situation. Lisez les commentaires personnels plutôt que le seul titre : ils en disent plus que la déclaration.
Sources
Sources: https://www.pacingthefrontier.com/
Pangram affirme que son nouveau détecteur se trompe une fois sur 24 000 documents. Regardons ce chiffre de plus près
Pangram 4 revendique 0,0041 % de faux positifs et détecterait les textes d’IA malgré 13 outils d’humanisation. L’essentiel est ailleurs : sa base d’utilisateurs a été multipliée par 44 en un an.
