Il fondatore di Rocky Linux vuole aprire la parte più segreta dell'IA: i dati di addestramento
OpenWALDO parte con 124 miliardi di token in 75 milioni di documenti, ciascuno associato a una licenza e a un'origine. L'idea è fornire con ogni modello una distinta dei componenti, come avviene per il software.
Gregory Kurtzer ha trascorso venticinque anni avviando progetti open source da cui altre persone hanno finito per dipendere, tra cui CentOS, Singularity e Rocky Linux. L’11 agosto ne ha lanciato uno nuovo mirato direttamente allo strato meno aperto dell’intelligenza artificiale moderna: i dati di addestramento. Si chiama OpenWALDO, è sponsorizzato dalla sua società CIQ e il suo corpus pubblico indicizza già 124 miliardi di token di riferimento in 75,1 milioni di documenti, organizzati in 20 raccolte con 18 identificatori di licenza affermati.
Il nome è l’acronimo di Weights, Artifacts, Licenses, Data and Origins. Il punto è che i “open weights” ti portano solo a metà strada. Quando un laboratorio rilascia open weights, puoi scaricare ed eseguire il modello finito, il che è davvero utile, ma non puoi ancora vedere cosa è stato inserito. I pesi sono i milioni di numeri che un modello apprende durante l’addestramento; sono il risultato, non la ricetta. OpenWALDO registra da dove proviene ogni materiale formativo, quali diritti sono stati rivendicati su di esso, chi lo ha contribuito ed esattamente quali byte appartengono a quale versione. I modelli addestrati dal corpus possono quindi essere spediti con una AI Bill of Materials, un elenco di parti che collega il modello finito alle sue fonti, licenze e cicli di formazione.
Il meccanismo è volutamente poco spettacolare, ed è proprio questo il punto. L’indice pubblico si trova in Git, quindi ogni modifica può essere controllata e attribuita come accade da decenni con il codice open source. I dati più voluminosi risiedono in uno storage federato e vengono verificati tramite hash del contenuto: puoi così confermare che il file scaricato sia quello sottoposto a revisione. Chi contribuisce firma il Developer Certificate of Origin, lo stesso meccanismo di responsabilità adottato dal kernel Linux. Come dice Kurtzer, non stanno inventando una nuova infrastruttura di fiducia, ma applicandone una che funziona già.
Ecco il contesto più ampio. Quasi ogni laboratorio di intelligenza artificiale oggi raccoglie, pulisce e concede in licenza separatamente gran parte dello stesso materiale sottostante, per poi rifiutarsi di dire di cosa si trattasse. Questa segretezza è in parte competitiva e in parte legale, dal momento che le questioni relative al copyright sui dati di addestramento recuperati stanno ancora attraversando i tribunali. Un corpus condiviso e verificabile consentirebbe ai team più piccoli di saltare il costoso lavoro di base e dedicare invece i propri sforzi all’architettura e alla sicurezza. Darebbe anche a chiunque a valle una risposta onesta alla domanda che i laboratori continuano a evitare: da dove viene e chi ha detto che potresti usarlo. Kurtzer è sincero nel dire che ciò che esiste oggi non è neanche lontanamente vicino alla scala di frontiera. 124 miliardi di token sono un punto di partenza, non un concorrente dei trilioni su cui si addestrano i grandi laboratori.
Cosa significa per te: per ora non cambia nulla negli strumenti che usi. Ma se ti sei mai chiesto se un tuo post o la documentazione della tua azienda siano finiti in un modello, OpenWALDO prova a costruire l’infrastruttura necessaria per rispondere. Per le imprese dell’UE, la provenienza sta passando da informazione utile a requisito documentale, quindi un corpus con le licenze collegate merita attenzione. Se vuoi addestrare un piccolo modello sul tuo hardware, una pipeline di cui puoi verificare la provenienza dall’inizio alla fine è anche un raro strumento didattico.
Fonti
Ora puoi assumere un robot umanoide per pulire casa, guidato da una persona in realtà virtuale
Tau Robotics ha avviato a San Francisco un progetto pilota su invito da 30 dollari l'ora. I robot aspirano e portano fuori la spazzatura, ma non salgono le scale e per la maggior parte del tempo li guida una persona.
