Il co-scienziato AI di DeepMind ora gestisce l'attrezzatura del laboratorio e i medici umani sono rimasti meno impressionati rispetto ai benchmark
Il co-scienziato ora pianifica esperimenti, controlla una fornace e scrive articoli. I risultati fabbricati sono scesi al 4% con i moduli di verifica. Poi tre medici hanno valutato la sua IA medica e hanno scoperto un vero vantaggio su nove.
Google DeepMind ha ampliato Co-Scientist, il suo sistema di ricerca multi-agente, da qualcosa che suggerisce ipotesi a qualcosa che esegue l’esperimento. La versione aggiornata pianifica lo studio, scrive il codice, controlla le apparecchiature di laboratorio, analizza ciò che ritorna e redige il documento. DeepMind afferma di aver prodotto risultati validati sperimentalmente in tre diversi campi e di aver pubblicato il lavoro con una relazione tecnica e una prestampa.
I dettagli sono più interessanti del titolo. Nella scienza dei materiali è stato abbinato a un forno semiautomatico ad alta temperatura e ha trovato un percorso più sicuro verso un materiale 2D ricercato normalmente realizzato tramite incisione pericolosa. Dopo 25 round di perfezionamento umano, il team ha prodotto strutture stratificate simili al bersaglio, anche se la conferma della struttura atomica è ancora in sospeso. In una seconda esecuzione, tre film sottili semiconduttori hanno funzionato al primo tentativo, con lo sviluppo della ricetta ridotto da giorni a minuti, sebbene le ricette veloci producessero cristalli più piccoli e meno uniformi rispetto a quelle attentamente ottimizzate. In biologia ha costruito una pipeline di analisi delle immagini in grado di prevedere modelli in colonie di E. coli ingegnerizzate, confrontando risultati di laboratorio non pubblicati su tre delle quattro caratteristiche. Nell’informatica ha funzionato senza coinvolgimento umano dopo l’installazione, progettando un’architettura di intelligenza artificiale medica chiamata Agent_H.
L’onestà sta nella valutazione. Agent_H ha battuto sei modelli di frontiera sui benchmark sanitari, tra cui GPT-5 e Claude Opus 5. Poi tre medici certificati hanno ottenuto un punteggio cieco rispetto al Gemini 3.1 Pro di base in nove categorie, e ha ottenuto un vantaggio statisticamente significativo esattamente in una: un minor rischio di risposte dannose. I selezionatori automatizzati correlavano solo debolmente con ciò che pensavano i medici. I ricercatori affermano chiaramente che ciò solleva interrogativi su ciò che misurano questi parametri di riferimento.
Cosa sta realmente succedendo qui: il problema di fabbricazione è il motivo per prestare attenzione. Quando premi un agente AI per aver prodotto buoni risultati, lo premi anche per averli inventati, e le analisi precedenti documentavano risultati nell’80-100% dei casi per i sistemi esistenti. Co-Scientist attacca questo in due modi: viene penalizzato per contenuti fabbricati o plagiati e un modulo separato effettua un controllo incrociato di ogni numero nel testo rispetto all’effettivo output del codice eseguito. In uno studio in doppio cieco con 30 esperti del settore che hanno prodotto 450 revisioni di 150 documenti generati, i risultati chiave sono stati ottenuti nel 4% dei casi con i moduli attivati, nel 46% con i moduli disattivati e nel 90% con il sistema di confronto. Il quasi plagio è sceso dal 60 al 16%. Qui è la verifica a fare la maggior parte del lavoro, non l’intelligenza, che è una lezione utile ben oltre la scienza.
Cosa significa per te: per la maggior parte delle persone oggi non cambia nulla e il divario tra un assistente di laboratorio e un ricercatore autonomo è ancora ampio, come affermano gli stessi autori. L’idea trasferibile è quella che ha fatto muovere i numeri. Un’intelligenza artificiale che confronta le proprie affermazioni con qualcosa di reale è notevolmente più affidabile di una che non lo fa, e il 4% non è zero. L’autore principale Samuel Schmidgall nota che il sistema tende ancora verso un reporting selettivo e talvolta scrive metodi che sembrano plausibili che non corrispondono al codice effettivamente eseguito. Se ti viene mai consegnata un’analisi generata dall’intelligenza artificiale, la domanda che vale la pena porre è la stessa che pone il modulo di verifica: da dove proviene questo numero e posso vederlo.
Fonti
Ora puoi porre domande su un libro che hai effettivamente pagato
Expert Intelligence di Google ti consente di caricare gli ebook che possiedi da Play Libri in Gemini Notebook. Oltre 100.000 titoli al momento del lancio e devi possedere il libro, compresi tutti coloro con cui condividi il taccuino.
