Une étude pour évaluer l'impact d'un système d'intelligence artificielle (IA) sur les rapports de radiographie pulmonaire

Une étude prospective monocentrique, dans laquelle les données seront collectées auprès du Hull University Teaching Hospitals NHS Trust (HUTH).

Les radiographies pulmonaires des médecins généralistes ont lieu dans les deux principaux sites hospitaliers du Trust, mais également dans des unités satellites de la communauté locale. Tous utilisent le même système d'information radiologique (RIS) et les radiographies thoraciques sont automatiquement stockées sur le système d'archivage et de communication d'images HUTH (PACS).

L'unité de radiologie du service des urgences de l'infirmerie royale de Hull effectue des radiographies pulmonaires pour les patients en urgence, mais également pour les patients hospitalisés.

Toutes les radiographies pulmonaires seront enregistrées dans le RIS, effectuées et envoyées au système PACS comme d'habitude. Toute radiographie pulmonaire effectuée sur un patient de 16 ans ou plus à partir de l'un des ensembles ci-dessus sera automatiquement transférée vers le serveur AI et une fois traitée, le rapport AI sera automatiquement transféré dans le même dossier PACS que le film d'origine.

Le rapport de la radiographie pulmonaire et l'examen des informations sur l'IA auront lieu lors des séances de rapport normales entreprises au sein du service de radiologie par tous les niveaux de personnel.

Le service de radiologie sous-traite actuellement certains rapports sur film simple, mais pendant la durée de l'étude, aucun des examens ci-dessus ne sera sous-traité et tous les rapports seront effectués par les membres de l'équipe de radiologie du HUTH.

La notification des radiographies thoraciques est effectuée par divers membres du personnel de radiologie :

• Radiologues consultants
• Registrar Radiologues en formation pré-FRCR - Fellow of Royal College of Radiology exam post FRCR
• Radiographes rapporteurs Le service de radiologie compte actuellement 46 consultants, 26 registraires spécialistes et 8 radiographes rapporteurs. Bien que tous les consultants ou radiographes n'effectuent pas de rapports sur les radiographies pulmonaires.

L'étude impliquera tous les groupes de journalistes et les enquêteurs évalueront les réponses de chaque groupe ainsi que la performance globale. Les participants seront identifiés par groupe mais pas individuellement.

L'étude est divisée en trois phases.

Première phase:

Cela se produira immédiatement après l'intégration du système d'IA au HUTH PACS. Il y aura une période d'un mois pendant laquelle les journalistes acquièrent de l'expérience dans l'utilisation du logiciel.

Pendant ce temps, deux bases de données locales seront examinées avec le logiciel :

• un ensemble de formation de 100 cas de radiographie pulmonaire dans lesquels certains nodules pulmonaires sont présents avec des tomodensitogrammes correspondants.
• Un ensemble de radiographies pulmonaires précédemment signalées demandées par des médecins généralistes (GP) qui ont été référées par le déclarant pour une TDM urgente.

Les résultats de ceux-ci seront examinés par un petit groupe de journalistes. La raison de ces avis est double :

• Fournir une vue d'ensemble du logiciel qui peut éclairer les instructions pour la phase deux.
• Permettre une comparaison entre les performances des journalistes précédemment documentées et les performances de l'IA avant le début de l'étude prospective.

Phase deux :

Cela durera 6 mois et comprendra toutes les radiographies pulmonaires pour les patients de plus de 16 ans provenant d'une recommandation d'un médecin généraliste ou effectuées dans le service des urgences (ED) de l'hôpital de soins aigus, qui comprend les visites aux urgences et aux accidents et les études en milieu hospitalier. Celles-ci seront envoyées au serveur AI pour évaluation, les données renvoyées seront disponibles dans le dossier PACS avec l'image d'origine. Cela se produira avant que le film ne soit disponible pour le reportage.

On estime que cette phase comprendra environ 20 000 examens dans une répartition à peu près égale. Année civile 2019 : GP 23 287 examens et ED 22 042 examens.

Les films GP ont été choisis car ces études sont souvent les premiers examens à soulever des inquiétudes concernant le cancer du poumon, la troisième phase comprend la mise en œuvre de listes de travail générées par l'IA pour signaler les nodules/cancer pulmonaires suspects et évaluer l'impact sur la TDM le jour même pour ce groupe.

Les films ED car on pensait qu'il s'agirait du meilleur ensemble de données pour évaluer les dix résultats détectés par le logiciel et l'introduction de listes de travail générées par l'IA en phase 3 pourrait conduire à un signalement plus rapide des études anormales.

Les journalistes examineront la radiographie pulmonaire originale et créeront un rapport. Ils examineront ensuite les données de l'IA et décideront comment cela affecterait leur rapport, cela sera ensuite enregistré.[2] L'IA recherche dix anomalies différentes sur chaque radiographie pulmonaire et produit une carte thermique et un score de confiance en pourcentage si elle détecte une anomalie. Un seul examen pourrait n'avoir aucun résultat d'IA ou plusieurs résultats d'IA.

Les journalistes entreront leur évaluation de l'IA pour chaque film signalé au moment du rapport.

• Pour chaque constatation présente dans la radiographie thoracique et/ou la sortie AI, les lecteurs enregistreront :

  • Découverte manquée par l'IA, mais détectée par le journaliste
  • Découverte correctement détectée par l'IA
  • Découverte manquée par le journaliste mais détectée par l'IA
  • Constat détecté par l'IA mais contesté par le déclarant

• L'impact de l'IA sur

  • Bilan radiologique

    • utile
    • inutile
    • neutre

  • Imagerie supplémentaire recommandée

    • important
    • insignifiant

  • Modifier la prise en charge des patients

    • important
    • insignifiant

Les enquêteurs évalueront également si AI a augmenté sa confiance dans le signalement d'une anomalie ou dans le signalement d'une étude comme étant normal.

Tout film dans lequel le journaliste n'est pas d'accord avec l'IA sera immédiatement placé dans une liste de travail PACS et examiné par un journaliste principal/des journalistes et un consensus sera convenu. Le résultat sera entré dans la base de données.

S'il est conseillé à un patient de subir une radiographie pulmonaire ou un scanner de suivi, cela sera enregistré. Ces examens de suivi seront examinés par un petit groupe de journalistes avec une analyse logicielle répétée de toutes les radiographies pulmonaires effectuées.

Le logiciel AI examine uniquement l'image actuelle tandis que le journaliste a accès à tous les examens antérieurs qui peuvent être importants pour décider d'une anomalie, cela sera enregistré pour évaluer ses effets.

Le rapporteur disposera d'une feuille de calcul Excel disponible sur le poste de travail de rapport PACS via un lien vers le lecteur départemental partagé avec des champs pour son groupe de rapport, le type de référence, le numéro d'accession de l'examen - ce qui permet l'examen de l'examen individuel en cas de désaccord ou de révision avec des examens ultérieurs, la présence de films antérieurs, un champ séparé pour chaque anomalie IA et des champs pour la radiographie pulmonaire ou la tomodensitométrie de suivi. Celle-ci sera complétée au moment de la déclaration.

À la fin de la session de rapport, la feuille de calcul sera téléchargée sur un serveur Trust central, conservée dans un dossier départemental et intégrée à partir de là dans une base de données centrale stockée séparément. Seuls les membres du service de radiologie auront accès au dossier du service et la base de données centrale sera tenue à part, accessible au data manager et à l'équipe de direction de la recherche. Une fois téléchargées dans la base de données principale, les données individuelles seront supprimées du dossier de radiologie. Aucune donnée ne sera stockée sur les postes de travail du PACS une fois la session de rapport terminée et le fichier transféré.

Les données seront stockées et traitées exclusivement au sein de HUTH. Une copie de la base de données principale sera effectuée en remplaçant le numéro d'accession par un identifiant anonyme. Cette base de données sera utilisée pour l'analyse.

Phase trois :

Cela durera 3 mois et comprendra le développement des listes de travail produites par l'IA.

Une liste de travail du médecin généraliste mettant en évidence les anomalies pouvant représenter une malignité permettra un rapport à chaud et un scanner le jour même si nécessaire. Les changements de délai entre la radiographie thoracique et le scanner seront comparés entre le système actuel avec triage radiographique des radiographies et le triage AI.

Une liste de travail ED sera produite pour les études positives à l'IA et les délais de rapport pour celles-ci seront comparés au système actuel où il n'y a pas de filtrage des radiographies pulmonaires.

Toutes les études négatives pour l'IA seront signalées. Les évaluations du temps de rapport seront effectuées à partir de données de routine dans les systèmes RIS et PACS sans qu'aucune donnée identifiable du patient ne soit incluse dans les évaluations.

Les données seront collectées via PACS et les données seront traitées localement dans un serveur dédié.