L’outil d’IA DistillerSR réduit le temps consacré aux revues de la littérature par les chercheuses et chercheurs en santé

Comme le volume de publications scientifiques continue d’augmenter, le tri manuel devient presque impossible, car il est très long ou risque de manquer d’exhaustivité. DistillerSR aide à répondre à ce défi en réduisant la charge de travail manuel tout en maintenant la qualité de la revue. Pour en savoir plus sur DistillerSR et les licences offertes à la Faculté de médecine et aux instituts affiliés, consultez l’article de blogue « DistillerSR pour accélérer et améliorer les revues systématiques » de l’IRIAMO.

Tri des articles

La revue a été menée à partir de publications tirées de trois bases de données : PubMed, IEEE Xplore et ACM Digital Library. À l’étape initiale, les publications ont été importées dans DistillerSR. PubMed est intégré à DistillerSR, ce qui permet d’utiliser des requêtes de recherche pour repérer des publications pertinentes directement dans l’outil. Pour IEEE Xplore et ACM Digital Library, les publications pertinentes ont été repérées dans les bases de données, puis téléversées dans DistillerSR, qui prend en charge de nombreux formats courants. L’outil repère et élimine aussi automatiquement les doublons entre les bases de données. À cette étape, la gestion centralisée des données réduit le travail manuel et aide à éviter les notices manquantes ou répétées.

Avant le processus de revue

Avant de commencer le processus de revue, il faut établir un flux de travail. Les questions de recherche peuvent être configurées à l’aide de formulaires et assignées à différents niveaux. DistillerSR propose des questions prédéfinies, par exemple pour déterminer si un article est pertinent pour l’étude, qui peuvent servir de point de départ. Une fois qu’au moins la première question du premier niveau est établie, le processus de revue peut commencer.

Dans le cadre de nos travaux de recherche, avant d’utiliser la fonction de tri de DistillerSR, deux personnes examinatrices indépendantes ont analysé des articles afin de préparer un jeu de données d’entraînement. L’outil exige que 25 références ou 2 % du nombre total de références, selon le nombre le plus élevé, soient examinées manuellement avant que le processus puisse être automatisé. Un jeu de données d’entraînement plus vaste peut produire des recommandations plus exactes.

DistillerSR fournit ensuite des recommandations indiquant si un article est pertinent ou non pour l’étude. Le score « 0 » indique un degré élevé de confiance quant à l’exclusion, tandis que le score « 1 » indique un degré élevé de confiance quant à l’inclusion. Plus le score se rapproche de 0,5, moins la prédiction est certaine. Ce système de notation permet aux chercheuses et chercheurs de se concentrer sur les articles incertains, ce qui réduit le temps consacré aux études clairement non pertinentes.

Analyse des articles et réponse aux questions de recherche

À l’étape suivante, DistillerSR aide à analyser les articles sélectionnés. La gestion des pièces jointes comprend le téléversement des fichiers PDF et leur préparation en vue de l’utilisation de Smart Evidence Extraction (SEE)™. Cette technologie utilise de grands modèles de langage pour aider à générer des réponses aux questions de recherche. Les questions peuvent être définies dans différents formats : choix unique, choix multiple, questions ouvertes exigeant l’extraction de texte et réponses résumées.

La qualité des questions et leur compatibilité avec l’IA sont importantes. Avant le lancement du processus de revue, l’outil offre une vérification par l’IA afin d’évaluer si les questions sont compatibles avec l’IA, ce qui permet aux chercheuses et chercheurs de les ajuster au besoin.

Par exemple, la question « Cet article décrit-il la réglementation des dispositifs médicaux fondés sur l’intelligence artificielle? » est jugée compatible avec l’IA par DistillerSR, car elle est claire, non ambiguë et directe, et permet d’extraire de l’information à partir de l’article. À l’inverse, la question « Pourquoi cet article devrait-il être exclu? » est jugée non compatible, car elle se rapporte au flux de travail de la revue plutôt qu’au contenu de l’article, et l’information ne peut pas être extraite directement de l’article scientifique.

Pour examiner les articles, DistillerSR offre une fonction qui affiche l’article sélectionné, soit le titre, les auteurs, la revue de publication et la date, à côté des questions. Les utilisateurs peuvent passer de l’onglet du résumé à l’onglet des pièces jointes, où les fichiers PDF de l’article sont affichés.

Pour obtenir les meilleurs résultats, il est recommandé d’éviter les questions trop complexes ou vagues, d’éviter les abréviations, de diviser les questions ouvertes complexes en questions plus petites et d’utiliser la fonction de vérification par l’IA avant de lancer de grands lots. En plus de la vérification par l’IA des questions, les fichiers PDF sont prétraités avant l’utilisation de SEE. Les fichiers PDF prêts à être utilisés sont marqués par des icônes d’ampoule. Aux niveaux où SEE est utilisé pour aider à répondre aux questions, l’IA peut repérer l’information pertinente dans les fichiers préparés et générer des réponses suggérées aux questions de recherche. Les utilisateurs peuvent aussi voir de quelle partie de l’article les données ont été extraites, puis examiner et modifier les réponses suggérées dans le système.

Selon notre analyse après utilisation, les réponses fournies sont généralement exactes et utiles. Il est toutefois important de souligner que SEE vise à guider les chercheuses et chercheurs dans l’analyse des résultats et à faire ressortir le contenu pertinent dans les articles, et non à remplacer l’analyse humaine.

Finalisation des résultats

DistillerSR facilite la production des résultats. La stratégie de recherche et le processus de tri peuvent être exportés sous forme de diagramme PRISMA, ce qui simplifie la production de rapports et soutient la transparence dans les revues systématiques. Datarama offre aux utilisateurs une vue d’ensemble complète du processus de tri de la littérature et de la façon dont les questions de recherche ont reçu une réponse tout au long de la revue. Il indique également si les décisions ont été prises par l’utilisateur ou générées au moyen de la fonction de revue automatisée de DistillerSR. Les données peuvent être examinées par les utilisateurs et modifiées au besoin.

Développements futurs

DistillerSR est continuellement développé et amélioré en fonction des besoins des utilisateurs. L’outil offre des lignes directrices complètes qui aident les utilisateurs à se familiariser avec ses fonctions, à répondre aux questions courantes et à démarrer efficacement.

Pendant notre revue, nous avons aussi communiqué avec l’équipe de DistillerSR pour nous assurer que nous utilisions l’outil correctement, clarifier certaines questions précises et apprendre à l’utiliser de la manière la plus efficace possible. Nous avons reçu des commentaires utiles et pratiques, adaptés spécifiquement à notre étude.

La plus récente version de SEE apporte plusieurs améliorations importantes. L’automatisation complète des formulaires permet à SEE de remplir et de soumettre automatiquement des formulaires d’extraction entiers, d’une manière semblable à celle d’une personne examinatrice. La simplification des requêtes permet à SEE de traiter toutes les questions d’un formulaire simultanément, ce qui lui donne le contexte complet de l’ensemble du formulaire d’extraction et améliore l’exactitude et la cohérence entre les variables. Chaque réponse suggérée comprend une explication en langage clair afin de soutenir l’explicabilité, la conformité réglementaire et l’auditabilité. Toutes les données extraites demeurent entièrement hébergées dans la plateforme sécurisée de DistillerSR, ce qui est important du point de vue de la confidentialité.

Résumé et principaux apprentissages

DistillerSR produit des résultats de bonne qualité et aide à réduire le temps requis pour le tri et l’analyse de la littérature. L’outil est conçu pour soutenir le processus de revue, et non pour remplacer la personne examinatrice. La supervision humaine demeure essentielle à une interprétation exacte. Une fois les étapes d’utilisation de l’outil bien comprises, il devient beaucoup plus efficace et facile à utiliser. DistillerSR offre des avantages concrets en réduisant la charge de travail manuel, en améliorant la constance et en soutenant les revues à grande échelle lorsqu’il est utilisé avec des questions bien définies et une participation active des chercheuses et chercheurs.

J’encourage les chercheuses et chercheurs à explorer les fonctions de DistillerSR et à constater directement comment l’outil peut améliorer l’efficacité et la constance de la recherche, tout en permettant de gagner du temps dans la réalisation des revues de la littérature. Pour demander l’accès à une licence et commencer à utiliser DistillerSR, écrivez à [email protected].