« Déception rénale » et les articles passés entre les mailles de l'évaluation
Une recherche Google Scholar d'une expression qui ne devrait pas exister renvoie environ 189 résultats. Une petite fenêtre amusante sur les textes paraphrasés par IA qui entrent dans les revues scientifiques.
Cherchez « kidney disappointment » dans Google Scholar et vous obtenez environ 189 résultats. Ce n’est pas un terme médical, mais ce qu’un logiciel produit en paraphrasant « kidney failure » sans comprendre les mots. La découverte s’est diffusée dimanche sur Hacker News avec un détail mémorable : au moins un article cite un « UCI Persistent Kidney Disappointment dataset », version déformée du célèbre jeu Chronic Kidney Disease de l’UCI.
Les chercheurs parlent d’expressions torturées, et ce n’est pas une première. L’exemple classique est « vegetative electron microscopy », déformation de « scanning electron microscopy » apparue dans des dizaines d’articles avant d’être remarquée. Le mécanisme est généralement le même : un texte passe dans un outil de paraphrase, souvent pour éviter la détection du plagiat, et les termes techniques deviennent des synonymes grammaticalement corrects et scientifiquement absurdes.
Le sujet dépasse la plaisanterie à cause du lieu où elles finissent. Ces revues ont une évaluation par les pairs, des éditeurs et des facteurs d’impact. Quiconque aurait vraiment lu « patients with persistent kidney disappointment » se serait arrêté. Que tant de personnes ne l’aient pas fait révèle la réalité d’un système où le volume des soumissions croît bien plus vite que le nombre de gens disposés à les évaluer gratuitement.
Soyons précis sur l’IA. Les outils de paraphrase précèdent la vague actuelle de modèles, et beaucoup d’expressions viennent de logiciels plus anciens ou moins chers. Ce qui a changé, c’est le volume : produire un article plausible ne coûte presque plus rien, tandis que l’incitation à compter les publications demeure. La même semaine apporte un contrepoint encourageant : Hugging Face a publié un défi où des volontaires ont lancé des agents de programmation sur plus de 2 200 articles pour en répéter les expériences. La technologie qui rend les mauvais articles bon marché rend aussi leur vérification bon marché.
Ce que cela signifie pour vous : c’est surtout le rappel d’une habitude. « Publié dans une revue évaluée par les pairs » n’a jamais signifié « vrai », et le signifie moins qu’il y a cinq ans. Pour une affirmation médicale ou scientifique importante, regardez si d’autres l’ont reproduite, pas seulement si elle est publiée. Si vous écrivez avec des sources, ne passez jamais votre texte dans un outil de paraphrase pour contourner un contrôle de similarité : voilà exactement comment cela arrive, et c’est plus embarrassant qu’une citation. Pour une petite absurdité, cherchez dans Scholar une version déformée d’un terme de votre domaine. Les résultats sont souvent plus drôles qu’ils ne devraient.
Sources
Sources: https://scholar.google.com/scholar?q=%22kidney+disappointment%22
Une responsable de magasin IA a recommandé de licencier un humain. Il a d'abord fallu la rappeler à l'ordre
Luna, responsable basée sur Claude d'une boutique de San Francisco, a suggéré de se séparer d'un employé en retard lors de 17 services sur 23. Le plus intéressant est qu'elle avait oublié sa propre règle pendant des mois.
