1.221 volontari hanno puntato agenti IA su 2.200 articoli scientifici. Quasi un quarto non ha retto
Hugging Face ha pubblicato ogni tentativo di una sfida di 19 giorni per ripetere con agenti di programmazione gli esperimenti di ICML 2026. In 496 articoli almeno un'affermazione è stata contestata o smentita.
Hugging Face ha pubblicato i risultati di un insolito esperimento di verifica scientifica. Tra il 15 luglio e il 2 agosto, 1.221 volontari hanno usato agenti IA di programmazione per tentare di ripetere gli esperimenti degli articoli accettati a ICML 2026, una delle maggiori conferenze di machine learning. Hanno esaminato oltre 2.200 dei 6.341 lavori e prodotto 6.816 registri pubblici. Ogni tentativo è online, compresi i fallimenti.
Il dato principale è che 496 articoli, circa il 23% di quelli esaminati, avevano almeno un’affermazione centrale contestata o smentita. Quarantanove hanno perso ogni affermazione, cioè non è stato possibile verificare nulla. E su 242 articoli team diversi hanno raggiunto verdetti opposti sulla stessa affermazione, risultato significativo di per sé.
I partecipanti sceglievano strumenti e hardware. Nei registri compaiono Claude Code, Codex, Cursor e orx di OpenResearch. Prima venivano indicizzate le affermazioni centrali, poi un agente cercava di riprodurle; metodi, risultati e spesso l’intera traccia di esecuzione finivano in un registro pubblico su Hugging Face.
L’importanza supera la valutazione dei singoli articoli. ICML ne ha accettati 6.341 quest’anno, circa il doppio dell’anno precedente. Nessun gruppo di revisori volontari può leggerne così tanti con attenzione, tantomeno rieseguire il codice. La riproduzione è sempre stata la parte della scienza che tutti ritengono essenziale e per cui nessuno ha tempo. Gli agenti di programmazione sono pazienti, economici e instancabili proprio come richiede questo lavoro: è uno degli argomenti più convincenti finora per un uso che vada oltre il rilascio di funzionalità. Una giusta cautela, ricordata dagli organizzatori: se un agente non riproduce un risultato, non significa che questo sia falso. Dati mancanti, impostazioni non documentate e hardware differente provocano fallimenti che non dicono nulla sulla scienza. Proprio per questo i 242 articoli dai verdetti contraddittori sono le voci più interessanti del dataset.
Che cosa significa per te: quando leggi notizie sull’IA, ricorda questa proporzione. «Un nuovo studio dimostra» è molto più debole di quanto sembri, persino in una conferenza di primo livello, prima ancora di chiedersi se il benchmark misuri qualcosa di reale. Se lavori nella ricerca o nell’ingegneria e dipendi da risultati pubblicati, i registri sono ricercabili: puoi verificare se il lavoro su cui stai per basarti è stato riprodotto. E se cerchi un esempio concreto e senza esagerazioni di ciò in cui gli agenti sono davvero bravi, questo è migliore di molte demo: 6.816 verifiche noiose che altrimenti non sarebbero mai state svolte.
Fonti
Fonti: https://huggingface.co/blog/icml-2026-open-reproductions
La pubblicità arriva su ChatGPT in Europa questo mese
OpenAI ha avvisato gli utenti Free e Go nello SEE e in Svizzera che la pubblicità comparirà entro agosto. I livelli a pagamento restano senza annunci e la personalizzazione richiede il tuo consenso esplicito.
