«Delusione renale» e gli articoli sfuggiti alla revisione
Una ricerca Google Scholar di una frase che non dovrebbe esistere restituisce circa 189 risultati. Una piccola finestra divertente su come il testo parafrasato dall'IA entra nelle riviste peer-reviewed.
Cerca «kidney disappointment» su Google Scholar e ottieni circa 189 risultati. Non è un termine medico. È ciò che accade quando un software parafrasa «kidney failure» scegliendo un sinonimo senza capire le parole. La scoperta si è diffusa domenica su Hacker News con un dettaglio memorabile: almeno un articolo cita un «UCI Persistent Kidney Disappointment dataset», versione deformata del noto dataset UCI Chronic Kidney Disease.
I ricercatori chiamano questi risultati frasi torturate, e non è il primo caso. L’esempio classico è «vegetative electron microscopy», deformazione di «scanning electron microscopy» apparsa in decine di articoli prima che qualcuno la notasse. Il meccanismo è generalmente lo stesso: il testo passa in uno strumento di parafrasi, spesso per evitare il rilevamento del plagio, e i termini tecnici diventano sinonimi grammaticalmente corretti e scientificamente privi di senso.
Il luogo in cui finiscono rende il caso più di una risata. Sono riviste con peer review, redattori e impact factor. Un revisore che avesse letto «patients with persistent kidney disappointment» si sarebbe fermato subito. Che tanti non l’abbiano fatto rivela quanto controllo avvenga davvero in un sistema dove gli invii crescono più velocemente delle persone disposte a valutarli gratis.
Occorre precisione sul ruolo dell’IA. Gli strumenti di parafrasi precedono i modelli attuali e molte frasi provengono da software vecchio o economico. È cambiato il volume: produrre un articolo plausibile è quasi gratuito, mentre il sistema che premia il numero di pubblicazioni è rimasto. Nella stessa settimana c’è un contrappunto positivo: Hugging Face ha pubblicato una sfida in cui volontari hanno puntato agenti di programmazione su oltre 2.200 articoli e ripetuto gli esperimenti. La tecnologia che rende economici i cattivi articoli rende economica anche la verifica.
Che cosa significa per te: è soprattutto un promemoria di abitudini. «Pubblicato su una rivista peer-reviewed» non ha mai significato «vero», e oggi significa meno di cinque anni fa. Per un’affermazione sanitaria o scientifica importante, guarda se altri l’hanno replicata, non solo se è pubblicata. Se scrivi usando fonti, non passare mai il testo in un parafrasatore per eludere il controllo di somiglianza: è esattamente così che accade ed è molto più imbarazzante di una citazione. Per un piccolo assurdo, cerca su Scholar una versione deformata di un termine del tuo campo. I risultati sono spesso più divertenti di quanto dovrebbero.
Fonti
Fonti: https://scholar.google.com/scholar?q=%22kidney+disappointment%22
Una responsabile di negozio IA ha consigliato di licenziare un umano. Prima andava sollecitata
Luna, responsabile basata su Claude di un negozio a San Francisco, ha suggerito di separarsi da un dipendente in ritardo in 17 turni su 23. La parte interessante è che aveva dimenticato per mesi la propria regola.
