Des journaux « robots » pour des lecteurs « robots »

Les développements de l’intelligence artificielle sont rapides et les outils pour la rédaction d’articles sont déjà disponibles : recherche documentaire, choix du journal, préparation de résumés et synthèses, propositions d’hypothèses, corrections grammaticales, vérification de l’anglais, recherche de plagiats… D’autres évolutions sont attendues, mais soyons prudents.

Vers une hausse des revues de littérature de mauvaise qualité ?

Il existe des comparaisons entre les trois stratégies suivantes pour rédiger des revues de la littérature : chercheur seul, IAg (intelligence artificielle générative) seule, et association chercheur + IAg. La stratégie chercheur + IAg est meilleure, mais à la condition que l’homme garde la main et soit responsable du manuscrit. Des outils proposent déjà d’écrire des revues systématiques de la littérature. Les revues systématiques ou méthodiques nécessitent une meilleure sélection des articles, basée sur la qualité, l’absence de biais, etc., avant la compilation des données avec ou sans méta-analyse. Mais des risques existent et nous aurons des surprises. L’IAg ne peut pas être un coauteur et le manuscrit doit contenir une description de ses rôles, voire une annexe électronique avec les prompts et leurs réponses.

Avec l’IAg, une tentation pour certains chercheurs est d’augmenter le nombre de revues de littérature. Or nous en avons déjà trop de piètre qualité. Nous avons surtout besoin de recherches originales. Gardons un esprit critique et évitons un enthousiasme prématuré.

Bientôt des journaux scientifiques autonomes ?

Le journal scientifique du futur sera-t-il autonome ? Bientôt, un auteur soumettra son manuscrit à un agent conversationnel (chatbot) qui interférera avec lui, à un rythme et selon les modalités choisies par cet auteur. Seront réalisées par l’IA : la vérification du respect des instructions aux auteurs, des lignes directrices adaptées à la méthodologie ; l’analyse du plan ; la vérification des totaux et des références ; la correction de l’anglais et de la grammaire. L’IAg fera ensuite une ou plusieurs relectures du manuscrit, avant transmission au rédacteur en chef. Puis ce dernier enverra le manuscrit et ses évaluations (faites par l’IAg) à des experts externes (suggérés par l’IAg) pour avis.

Des interfaces permettront par ailleurs aux relecteurs de prendre connaissance du manuscrit avec les évaluations de l’IAg. Le relecteur aura accès à une IAg pour analyser le texte avec une banque de prompts. Il pourra poser des questions : « Le test statistique est-il bien utilisé ? », « Les références sont-elles correctement choisies et citées ? », « Le comparateur est-il bien choisi ? », etc. Avec ces éléments, il rédigera un avis (à partir des suggestions de l’IAg) qu’il enverra au rédacteur en chef. Finalement, celui-ci prendra la main sur l’outil qui contient la synthèse des avis des relecteurs ainsi qu’une lettre de décision…

Évaluations des manuscrits par l’IA, quelle fiabilité ?

Mais l’IAg est-elle fiable pour évaluer des manuscrits, voire des projets de recherche soumis à des agences de financement ? Pour répondre, nous avons besoin d’études comparatives au sein de journaux scientifiques. Comparer, en grand nombre, des décisions prises sur des manuscrits évalués avec l’IAg à des décisions prises par un rédacteur en chef sans IAg s’avère indispensable. L’acceptation et le refus d’un manuscrit sont basés sur un faisceau d’éléments : pertinence de la recherche, nouveauté, originalité, intérêt, rigueur, importance, qualité de l’argumentation. Ça, l’IAg ne sait pas le faire.

Des revues scientifiques de piètre qualité utilisent déjà l’IAg pour leurs décisions. Pourtant, nous n’avons pas de données rigoureuses pour s’assurer de la qualité de ce travail. Quel est le gold standard : l’IAg ou le relecteur humain ? Le mercantilisme ne doit pas mettre à notre disposition des outils pour évaluer des manuscrits sans qu’on ait des données probantes sur leurs performances.