Un vincitore della medaglia Fields che ha scritto un articolo sul rischio di estinzione dell'IA si è appena unito a OpenAI per lavorare sulla sicurezza

Jacob Tsimerman, il teorico dei numeri che quest’anno ha ricevuto una medaglia Fields, si unisce a OpenAI per lavorare sulla sicurezza dell’IA. La Medaglia Fields è il premio più prestigioso della matematica, assegnato ogni quattro anni a un piccolo numero di ricercatori sotto i 40 anni, quindi si tratta di una persona degna di nota che viene trasferita dall’Università di Toronto a un laboratorio di intelligenza artificiale.

Vale la pena riportare in sostanza la motivazione da lui espressa. Tsimerman definisce l’intelligenza artificiale una tecnologia estremamente trasformativa e afferma che la società non sta dedicando sforzi sufficienti alla sicurezza. La sua affermazione specifica su ciò che apportano i matematici è la parte interessante: la ricerca sull’intelligenza artificiale oggi si basa principalmente su base empirica, il che significa che le persone provano cose, misurano ciò che accade e mantengono ciò che funziona, con pochissime garanzie sul perché questi sistemi si comportano in quel modo. Questo è un modo normale di fare ingegneria e un modo scomodo di fare sicurezza. Dimostrare che un sistema non può fare qualcosa è compito di un matematico, e quasi nessuno attualmente può dimostrare molto su un modello di grandi dimensioni.

Non è una voce nuova sul fronte del rischio. L’anno scorso Tsimerman ha co-pubblicato un articolo sugli “eventi onnicidi”, scenari in cui l’intelligenza artificiale contribuisce all’estinzione umana. Questa definizione è contestata tra i ricercatori, e lui sembra consapevole della trappola, affermando che il panico non è la risposta giusta ma che i rischi necessitano di una valutazione onesta. Si aspetta anche che l’intelligenza artificiale superi presto gli esseri umani nella ricerca matematica.

La mossa si colloca nel mezzo di una discussione in corso su quanti risultati abbia effettivamente ottenuto l’intelligenza artificiale in matematica. L’ex CEO di DeepMind Demis Hassabis ha definito i recenti progressi un vero progresso ma non ancora una svolta fondamentale, adottando il famoso “Move 37” di AlphaGo come standard, nel momento in cui un sistema produce qualcosa di veramente al di fuori dell’intuizione umana piuttosto che una versione molto buona di ciò che fanno gli umani. Per la matematica, Hassabis suggerisce che la barra equivalente sarebbe risolvere qualcosa di simile a un problema del Premio del Millennio, l’insieme di sette famosi problemi irrisolti. Nemmeno il prossimo modello Astra di OpenAI è riuscito a raggiungere questo obiettivo, anche se Hassabis afferma di non vedere alcun motivo per cui ciò non potrebbe accadere alla fine.

Cosa significa per te: non cambia nulla negli strumenti che utilizzi e non esiste alcun prodotto qui. Ciò che vale la pena leggere è un segnale su dove si trova ora la difficoltà. I laboratori di intelligenza artificiale stanno assumendo matematici puri per il lavoro sulla sicurezza, il che significa ammettere che l’attuale approccio, costruito e testato, non produce il tipo di garanzie che chiunque accetterebbe nel settore dell’aviazione o della medicina. Se ti sei chiesto perché le aziende di intelligenza artificiale continuano a pubblicare percentuali di valutazione anziché garanzie, il motivo è questo: le percentuali sono ciò che i test empirici possono darti. Se ciò cambierà è una questione veramente aperta, e assumere persone come Tsimerman è uno dei tentativi più seri in tal senso.

Fonti

• Wall Street Journal: Demis Hassabis sull’intelligenza artificiale e la ricerca di un momento “Move 37”
• arXiv: documento sugli eventi di omnicidio
• Il vincitore della medaglia Decoder: Fields che ha pubblicato un articolo sull’estinzione umana causata dall’intelligenza artificiale ora lavora per OpenAI