Un médaillé Fields qui a écrit un article sur le risque d'extinction de l'IA vient de rejoindre OpenAI pour travailler sur la sécurité

Jacob Tsimerman, le théoricien des nombres qui a reçu une médaille Fields cette année, rejoint OpenAI pour travailler sur la sécurité de l’IA. La médaille Fields est le prix le plus prestigieux en mathématiques, décernée tous les quatre ans à un petit nombre de chercheurs de moins de 40 ans. Il s’agit donc d’une personne remarquable qui quitte l’Université de Toronto pour rejoindre un laboratoire d’IA.

La raison qu’il expose mérite d’être citée en substance. Tsimerman considère l’IA comme une technologie extrêmement transformatrice et affirme que la société ne consacre pas suffisamment d’efforts à la sécurité. Ce qui est intéressant, c’est son affirmation spécifique sur ce qu’apportent les mathématiciens : la recherche sur l’IA s’effectue aujourd’hui principalement sur une base empirique, ce qui signifie que les gens essaient des choses, mesurent ce qui se passe et conservent ce qui fonctionne, avec très peu de garanties sur la raison pour laquelle ces systèmes se comportent comme ils le font. C’est une manière normale de faire de l’ingénierie et une manière inconfortable d’assurer la sécurité. Prouver qu’un système ne peut pas faire quelque chose est le travail d’un mathématicien, et presque personne ne peut actuellement prouver grand-chose sur un grand modèle.

Il n’est pas une nouvelle voix en faveur du risque. L’année dernière, Tsimerman a co-publié un article sur les « événements omnicides », des scénarios dans lesquels l’IA contribue à l’extinction humaine. Cette formulation est contestée par les chercheurs, et il semble conscient du piège, affirmant que la panique n’est pas la bonne réponse mais que les risques nécessitent une évaluation honnête. Il s’attend également à ce que l’IA surpasse d’ici peu les humains dans la recherche mathématique.

Cette décision intervient au milieu d’un débat en cours sur les progrès réels de l’IA en mathématiques. L’ancien PDG de DeepMind, Demis Hassabis, a qualifié les avancées récentes de réels progrès, mais pas encore d’avancée fondamentale, prenant le célèbre “Move 37” d’AlphaGo comme norme, au moment où un système produit quelque chose de véritablement en dehors de l’intuition humaine plutôt qu’une très bonne version de ce que font les humains. Pour les mathématiques, Hassabis suggère que la barre équivalente serait de résoudre quelque chose comme un problème du prix du millénaire, l’ensemble des sept célèbres problèmes non résolus. Le prochain modèle Astra d’OpenAI n’y est pas parvenu non plus, bien que Hassabis affirme ne voir aucune raison pour laquelle cela ne pourrait pas se produire à terme.

Ce que cela signifie pour vous: rien ne change dans les outils que vous utilisez, et il n’y a aucun produit ici. Ce qu’il vaut la peine de lire, c’est un signal indiquant où se situe actuellement la difficulté. Les laboratoires d’IA embauchent des mathématiciens purs pour le travail de sécurité, ce qui revient à admettre que l’approche actuelle, la construire et la tester, ne produit pas le genre d’assurances que quiconque accepterait dans l’aviation ou la médecine. Si vous vous demandez pourquoi les sociétés d’IA continuent de publier des pourcentages d’évaluation plutôt que des garanties, voici la raison : les pourcentages sont ce que les tests empiriques peuvent vous donner. Que cela change est une question véritablement ouverte, et l’embauche de personnes comme Tsimerman est l’une des tentatives les plus sérieuses en ce sens.

Sources

• Wall Street Journal : Demis Hassabis sur l’IA et la recherche d’un moment “Move 37”
• arXiv : article sur les événements omnicides
• The Decoder : Fields Medalist qui a publié un article sur l’extinction humaine provoquée par l’IA travaille désormais pour OpenAI