Un medallista de Fields que escribió un artículo sobre el riesgo de extinción de la IA acaba de unirse a OpenAI para trabajar en seguridad
El teórico de números Jacob Tsimerman se mudará de la Universidad de Toronto a OpenAI. Su argumento es que la IA todavía se basa en prueba y error, y que los matemáticos son las personas que podrían cambiar eso.
Jacob Tsimerman, el teórico de números que recibió la Medalla Fields este año, se unirá a OpenAI para trabajar en la seguridad de la IA. La Medalla Fields es el premio más prestigioso de matemáticas y se otorga cada cuatro años a un pequeño número de investigadores menores de 40 años, por lo que se trata de una persona destacada que pasa de la Universidad de Toronto a un laboratorio de IA.
Vale la pena citar en esencia la razón expuesta. Tsimerman considera que la IA es una tecnología extremadamente transformadora y dice que la sociedad no está poniendo suficiente esfuerzo en la seguridad. Su afirmación específica sobre lo que aportan los matemáticos es la parte interesante: la investigación actual sobre IA se realiza principalmente sobre una base empírica, lo que significa que las personas prueban cosas, miden lo que sucede y conservan lo que funciona, con muy pocas garantías sobre por qué estos sistemas se comportan como lo hacen. Ésa es una forma normal de hacer ingeniería y una forma incómoda de hacer seguridad. Demostrar que un sistema no puede hacer algo es tarea de un matemático, y actualmente casi nadie puede demostrar mucho sobre un modelo grande.
No es una voz nueva en el lado del riesgo. El año pasado, Tsimerman coeditó un artículo sobre “eventos omnimicidios”, escenarios en los que la IA contribuye a la extinción humana. Los investigadores cuestionan ese marco, y él parece consciente de la trampa, diciendo que el pánico no es la respuesta correcta, pero que los riesgos necesitan una evaluación honesta. También espera que la IA supere a los humanos en la investigación matemática en poco tiempo.
La medida llega en medio de una discusión en curso sobre cuánto ha logrado realmente la IA en matemáticas. El ex director ejecutivo de DeepMind, Demis Hassabis, calificó los avances recientes como un progreso real, pero aún no como un avance fundamental, y adoptó el famoso “Move 37” de AlphaGo como estándar, en el momento en que un sistema produjo algo genuinamente fuera de la intuición humana en lugar de una muy buena versión de lo que hacen los humanos. Para las matemáticas, Hassabis sugiere que el listón equivalente sería resolver algo así como el Problema del Premio del Milenio, el conjunto de siete famosos problemas sin resolver. El próximo modelo Astra de OpenAI tampoco ha logrado eso, aunque Hassabis dice que no ve ninguna razón para que esto no pueda suceder eventualmente.
Qué significa esto para ti: no cambia ninguna herramienta que utilices y aquí no hay un producto nuevo. Lo importante es lo que esta contratación revela sobre la dificultad actual. Los laboratorios de IA están incorporando matemáticos puros a sus equipos de seguridad, lo que reconoce que el enfoque habitual de construir y probar no ofrece las garantías que se exigirían en aviación o medicina. Si alguna vez te has preguntado por qué las empresas publican porcentajes de evaluación en vez de garantías, esta es la razón: las pruebas empíricas solo pueden ofrecer porcentajes. No sabemos si eso cambiará. Contratar a personas como Tsimerman es uno de los intentos más serios de conseguirlo.
Fuentes
Fuentes: https://www.wsj.com/tech/ai/move-37-ai-demis-hassabis-google-deepmind-alphago-ec832a41
Los lectores calificaron las historias cortas de IA mejor que las humanas, hasta que les dijeron que las había escrito una máquina
En tres experimentos con más de 2500 personas, los lectores no tuvieron más que una oportunidad para detectar la ficción de ChatGPT. Las historias de IA obtuvieron puntuaciones más altas en calidad e inmersión, y la etiqueta por sí sola fue suficiente para bajar las puntuaciones.
