LAION pubblica 10 milioni di ore di video per la ricerca sull'intelligenza artificiale aperta
Il Big Video Dataset estrae 80 milioni di video da CommonCrawl, con didascalie scritte automaticamente sia per le immagini che per il suono. È esclusivamente di ricerca e la questione del copyright si trova proprio sotto di essa.
LAION, l’organizzazione no-profit tedesca nota soprattutto per il set di dati di immagini dietro Stable Diffusion, ha rilasciato Big Video Dataset, una delle più grandi raccolte di video aperte mai pubblicate per la ricerca sull’intelligenza artificiale. Il team è partito da 1,3 miliardi di URL di video trovati in CommonCrawl, un archivio pubblico del web, ne ha scaricati 80 milioni per un totale di circa 10 milioni di ore, quindi li ha tagliati in 55 milioni di clip ed ha estratto 300 milioni di immagini fisse. La maggior parte del materiale proviene da YouTube e la maggior parte è in inglese.
L’ingegneria interessante è nelle etichette. Invece di fare affidamento sulla descrizione che un essere umano ha scritto, il team ha utilizzato il rilevamento delle scene in base al contenuto per trovare i confini della clip, quindi ha generato automaticamente didascalie sia per le immagini che per l’audio. L’addestramento su quella combinazione insegna a un modello quali immagini vanno con quali parole e quali suoni, tutto in una volta. Secondo il documento di accompagnamento, i modelli addestrati su BVD battono modelli comparabili addestrati sul vecchio set di dati InternVid fino a 2,1 punti percentuali sui benchmark standard da video a testo. Il set di dati e il codice sono disponibili gratuitamente e rilasciati solo a scopo di ricerca.
Cosa sta realmente succedendo qui: ogni modello di intelligenza artificiale capace si basa su una pila di dati di addestramento e per i video quella pila è stata per lo più privata. Google, OpenAI e ByteDance addestrano modelli video su materiale che nessuno al di fuori di queste aziende può controllare. Ciò rende impossibile per i ricercatori indipendenti verificare cosa è successo, riprodurre un risultato o studiare errori. I set di dati aperti risolvono questo problema e sono anche l’unico modo in cui un laboratorio universitario può competere. La parte scomoda è la base giuridica. LAION fa riferimento a una sentenza del 2024 del tribunale regionale di Amburgo che le ha consentito di raccogliere immagini protette da copyright per ricerche non commerciali e chiede agli utenti di rispettare i diritti dei creatori. Questa è un’esenzione per la ricerca, non un permesso, ed è per questo che il rilascio è riservato alla sola ricerca. Ai creatori i cui video sono qui non è stato chiesto e non esiste un modo pratico per chiedere 80 milioni di volte.
Cosa significa per te: se stai imparando a conoscere l’intelligenza artificiale, questa è una rara opportunità di guardare la materia prima invece del prodotto finito. I grafici sulla composizione del set di dati da soli sono istruttivi: vedere quanto dominano una piattaforma e una lingua spiega molto sul motivo per cui i modelli video si comportano in un certo modo. Se sei un ricercatore, questa è una risorsa seria e vale la pena leggere l’articolo per il metodo dei sottotitoli. Se realizzi video per vivere, il riassunto onesto è che il tuo lavoro potrebbe benissimo essere qui, che il rilascio è limitato alla ricerca non commerciale e che il confine tra corpus di ricerca e set di formazione commerciale è stato storicamente sottile. Oggi non cambia nulla per te, ma vale la pena conoscere il terreno su cui ti trovi.
Fonti
Un bot AI sul copyright ha rimosso da Google Play un popolare gioco open source
Luanti, una piattaforma di gioco voxel gratuita utilizzata nelle scuole, è stata rimossa dal Play Store a seguito di un avviso DMCA presentato da una società di rilevamento AI per conto di Microsoft. La stessa cosa è accaduta nel 2023.
