- ICH GCP
- Registre américain des essais cliniques
- Essai clinique NCT06018545
Évaluation du lecteur assistée par l'IA dans l'interprétation de la tête par tomodensitométrie aiguë (CT) (AI-REACT)
Évaluation du lecteur assistée par l'IA dans l'interprétation aiguë de la tête du scanner
Cette étude a été ajoutée en tant que sous-étude à l'étude Simulation Training for Emergency Department Imaging 2 (ClinicalTrials.gov ID NCT05427838).
Le but de l'étude est d'évaluer l'impact d'un outil d'intelligence artificielle (IA) appelé qER 2.0 EU sur les performances des lecteurs, y compris les radiologues généralistes, les cliniciens en médecine d'urgence et les radiographes, dans l'interprétation des tomodensitogrammes de la tête sans contraste. L'étude vise à évaluer les changements en termes d'exactitude, de temps d'examen et de confiance diagnostique lors de l'utilisation de l'outil d'IA. Il cherche également à fournir des preuves sur les performances diagnostiques de l'outil d'IA et son potentiel pour améliorer l'efficacité et les soins aux patients dans le contexte du National Health Service (NHS). L'étude utilisera un ensemble de données de 150 tomodensitogrammes de la tête, comprenant à la fois des cas témoins et des cas anormaux présentant des anomalies spécifiques. Les résultats de cette étude éclaireront des études de suivi plus vastes dans des contextes réels de services d'urgence (SU).
Aperçu de l'étude
Statut
Les conditions
Intervention / Traitement
Type d'étude
Inscription (Réel)
Contacts et emplacements
Lieux d'étude
-
-
-
Glasgow, Royaume-Uni, G12 0XH
- NHS Greater Glasgow and Clyde
-
Newcastle upon Tyne, Royaume-Uni, NE27 0QJ
- Northumbria Healthcare NHS Foundation Trust
-
-
London
-
London, London, Royaume-Uni, SE1 7EH
- Guy's & St Thomas NHS Foundation Trust
-
-
Oxfordshire
-
Oxford, Oxfordshire, Royaume-Uni, OX3 9DU
- Oxford University Hospitals NHS Foundation Trust
-
-
Critères de participation
Critère d'éligibilité
Âges éligibles pour étudier
- Enfant
- Adulte
- Adulte plus âgé
Accepte les volontaires sains
Méthode d'échantillonnage
Population étudiée
Paramètre:
Les lecteurs seront recrutés dans les quatre fiducies hospitalières suivantes (niveau secondaire et tertiaire :
- Fiducie de la Fondation Guy's & St Thomas NHS
- Fiducie de la Fondation NHS de Northumbria Healthcare
- NHS Grand Glasgow et Clyde
- Fiducie de la Fondation NHS des hôpitaux universitaires d'Oxford
Participants :
30 lecteurs participants bénévoles seront sélectionnés parmi les groupes suivants :
- Consultants et registraires en médecine d'urgence (5 consultants, 5 registraires (ST3-6), 5 juniors (F1-ST2)
- Consultants et registraires en radiologie générale (5 consultants, 5 registraires)
- 5 radiologues CT
La description
Critère d'intégration:
- Radiologues/radiographes/cliniciens des services d'urgence qui examinent les tomodensitogrammes de la tête dans le cadre de leur pratique clinique
Critère d'exclusion:
- Neuroradiologues.
- Groupes de non-radiologues : cliniciens ayant déjà suivi une formation formelle postuniversitaire en matière de rapports tomodensitométriques
- Groupe de médecine d'urgence : cliniciens ayant déjà fait carrière en radiologie/neurochirurgie jusqu'au niveau registraire
Plan d'étude
Comment l'étude est-elle conçue ?
Détails de conception
Cohortes et interventions
Groupe / Cohorte |
Intervention / Traitement |
|---|---|
|
Lecteurs
30 lecteurs seront recrutés dans quatre fiducies du NHS, dont dix radiologues généralistes, quinze cliniciens en médecine d'urgence et cinq radiologues CT d'ancienneté variable.
Les lecteurs interpréteront chaque analyse d’abord sans, puis avec, l’aide de l’outil d’IA, avec une période de lavage intermédiaire de 4 semaines.
En utilisant un panel de neuroradiologues comme vérité terrain, les performances autonomes du qER seront évaluées et son impact sur les performances des lecteurs sera analysé en tant que changement de précision, temps d'examen moyen par analyse et confiance diagnostique autodéclarée.
Les analyses de sous-groupes seront effectuées par groupe professionnel de lecteurs, ancienneté du lecteur, constatation pathologique et difficulté évaluée par le neuroradiologue.
|
Les 30 lecteurs examineront les 150 cas, dans chacune des deux phases de l'étude.
Les lecteurs donneront leur avis sur la présence ou l'absence de certaines anomalies aiguës, notamment l'hémorragie intracrânienne, l'infarctus, le déplacement de la ligne médiane et la fracture.
Ils apporteront une confiance dans leur diagnostic (échelle visuelle analogique de 10 points), et un seul point de clic pour marquer l'emplacement de chaque anomalie qu'ils considèrent comme présente.
Le temps nécessaire à chaque analyse sera automatiquement enregistré.
|
|
Vérificateurs de terrain
Deux neuroradiologues consultants examineront indépendamment les images pour établir les résultats de la « vérité terrain » sur les tomodensitogrammes qui seront utilisés comme norme de référence.
En cas de désaccord, l'avis d'un troisième neuroradiologue senior sera sollicité pour arbitrage.
Un score de difficulté sera attribué à chaque analyse par les vérificateurs de terrain à l'aide d'une échelle de Likert à 5 points.
|
Deux neuroradiologues consultants examineront indépendamment les images pour établir les résultats de la « vérité terrain » sur les tomodensitogrammes qui seront utilisés comme norme de référence.
En cas de désaccord, l'avis d'un troisième neuroradiologue senior sera sollicité pour arbitrage.
|
Que mesure l'étude ?
Principaux critères de jugement
Mesure des résultats |
Description de la mesure |
Délai |
|---|---|---|
|
Performance du lecteur : sensibilité, spécificité, comparatif avec et sans assistance IA.
Délai: Pendant 6 semaines, qui est la période de lecture ou de révision des cas/scans.
|
Les performances du lecteur seront évaluées en termes de sensibilité, de spécificité, avec et sans l'aide de l'IA.
|
Pendant 6 semaines, qui est la période de lecture ou de révision des cas/scans.
|
|
Performance du lecteur : valeur prédictive positive et négative, comparative entre avec et sans assistance IA.
Délai: Pendant 6 semaines, qui est la période de lecture ou de révision des cas/scans.
|
Les performances du lecteur seront évaluées en tant que valeur prédictive positive (PPV) et valeur prédictive négative (NPV), avec et sans l'aide de l'IA.
|
Pendant 6 semaines, qui est la période de lecture ou de révision des cas/scans.
|
|
Performances du lecteur : aire sous la courbe caractéristique de fonctionnement du récepteur (AUROC), comparaison entre avec et sans assistance IA.
Délai: Pendant 6 semaines, qui est la période de lecture ou de révision des cas/scans.
|
Les performances du lecteur seront évaluées en tant que courbe caractéristique de fonctionnement de la zone sous le récepteur (AUROC), avec et sans l'aide de l'IA.
|
Pendant 6 semaines, qui est la période de lecture ou de révision des cas/scans.
|
|
Vitesse du lecteur : temps moyen nécessaire pour examiner une analyse, avec ou sans l'aide de l'IA.
Délai: Pendant 6 semaines, qui est la période de lecture ou de révision des cas/scans.
|
La vitesse du lecteur sera évaluée comme le temps de travail nécessaire pour examiner une analyse, en utilisant le temps en secondes.
|
Pendant 6 semaines, qui est la période de lecture ou de révision des cas/scans.
|
|
Confiance du lecteur : confiance diagnostique autodéclarée sur une échelle visuelle analogique de 10 points, avec ou sans l'aide de l'IA.
Délai: Pendant 6 semaines, qui est la période de lecture ou de révision des cas/scans.
|
Sur la plateforme de lecture (RAIQC), l'une des questions demande le niveau de confiance que le participant a dans son avis diagnostique.
La question propose une échelle de 1 à 10, où 1 signifie pas confiant et 10 signifie très confiant.
|
Pendant 6 semaines, qui est la période de lecture ou de révision des cas/scans.
|
|
Performances du qER (algorithme IA) : sensibilité et spécificité
Délai: Pendant 6 semaines, qui est la période de lecture ou de révision des cas/scans.
|
Les performances du qER seront évaluées en termes de sensibilité et de spécificité.
|
Pendant 6 semaines, qui est la période de lecture ou de révision des cas/scans.
|
|
Performances qER (algorithme AI) : valeur prédictive positive et négative.
Délai: Pendant 6 semaines, qui est la période de lecture ou de révision des cas/scans.
|
Les performances du qER seront évaluées en tant que valeur prédictive positive (PPV) et valeur prédictive négative (NPV).
|
Pendant 6 semaines, qui est la période de lecture ou de révision des cas/scans.
|
|
Performances qER (algorithme AI) : zone sous la courbe caractéristique de fonctionnement du récepteur (AUROC).
Délai: Pendant 6 semaines, qui est la période de lecture ou de révision des cas/scans.
|
Les performances du qER seront évaluées en tant que courbe caractéristique de fonctionnement de la zone sous le récepteur (AUROC)
|
Pendant 6 semaines, qui est la période de lecture ou de révision des cas/scans.
|
Collaborateurs et enquêteurs
Parrainer
Les enquêteurs
- Chercheur principal: Alex Novak, MSc, National Health Services in the United Kingdom (NHS UK)
- Chercheur principal: Sarim Ather, PhD, National Health Services in the United Kingdom (NHS UK)
Publications et liens utiles
Publications générales
- Juszczyk K, Ireland K, Thomas B, Kroon HM, Hollington P. Reduction in hospital admissions with an early computed tomography scan: results of an outpatient management protocol for uncomplicated acute diverticulitis. ANZ J Surg. 2019 Sep;89(9):1085-1090. doi: 10.1111/ans.15285. Epub 2019 Jun 17.
- Chan J, Fan KS, Mak TLA, Loh SY, Ng SWY, Adapala R. Pre-Operative Imaging can Reduce Negative Appendectomy Rate in Acute Appendicitis. Ulster Med J. 2020 Jan;89(1):25-28. Epub 2020 Feb 18.
- Greenhalgh R, Howlett DC, Drinkwater KJ. Royal College of Radiologists national audit evaluating the provision of imaging in the severely injured patient and compliance with national guidelines. Clin Radiol. 2020 Mar;75(3):224-231. doi: 10.1016/j.crad.2019.10.025. Epub 2019 Dec 19.
- Lin E, Yuh EL. Computational Approaches for Acute Traumatic Brain Injury Image Recognition. Front Neurol. 2022 Mar 9;13:791816. doi: 10.3389/fneur.2022.791816. eCollection 2022.
- Sheth SA, Giancardo L, Colasurdo M, Srinivasan VM, Niktabe A, Kan P. Machine learning and acute stroke imaging. J Neurointerv Surg. 2023 Feb;15(2):195-199. doi: 10.1136/neurintsurg-2021-018142. Epub 2022 May 25.
- Yeo M, Tahayori B, Kok HK, Maingard J, Kutaiba N, Russell J, Thijs V, Jhamb A, Chandra RV, Brooks M, Barras CD, Asadi H. Review of deep learning algorithms for the automatic detection of intracranial hemorrhages on computed tomography head imaging. J Neurointerv Surg. 2021 Apr;13(4):369-378. doi: 10.1136/neurintsurg-2020-017099. Epub 2021 Jan 21.
- Chilamkurthy S, Ghosh R, Tanamala S, Biviji M, Campeau NG, Venugopal VK, Mahajan V, Rao P, Warier P. Deep learning algorithms for detection of critical findings in head CT scans: a retrospective study. Lancet. 2018 Dec 1;392(10162):2388-2396. doi: 10.1016/S0140-6736(18)31645-3. Epub 2018 Oct 11.
- Lee JY, Kim JS, Kim TY, Kim YS. Detection and classification of intracranial haemorrhage on CT images using a novel deep-learning algorithm. Sci Rep. 2020 Nov 25;10(1):20546. doi: 10.1038/s41598-020-77441-z.
- Arbabshirani MR, Fornwalt BK, Mongelluzzo GJ, Suever JD, Geise BD, Patel AA, Moore GJ. Advanced machine learning in action: identification of intracranial hemorrhage on computed tomography scans of the head with clinical workflow integration. NPJ Digit Med. 2018 Apr 4;1:9. doi: 10.1038/s41746-017-0015-z. eCollection 2018.
- Davis MA, Rao B, Cedeno PA, Saha A, Zohrabian VM. Machine Learning and Improved Quality Metrics in Acute Intracranial Hemorrhage by Noncontrast Computed Tomography. Curr Probl Diagn Radiol. 2022 Jul-Aug;51(4):556-561. doi: 10.1067/j.cpradiol.2020.10.007. Epub 2020 Nov 15.
- Wardlaw JM, Mair G, von Kummer R, Williams MC, Li W, Storkey AJ, Trucco E, Liebeskind DS, Farrall A, Bath PM, White P. Accuracy of Automated Computer-Aided Diagnosis for Stroke Imaging: A Critical Evaluation of Current Evidence. Stroke. 2022 Jul;53(7):2393-2403. doi: 10.1161/STROKEAHA.121.036204. Epub 2022 Apr 20.
- Finck T, Moosbauer J, Probst M, Schlaeger S, Schuberth M, Schinz D, Yigitsoy M, Byas S, Zimmer C, Pfister F, Wiestler B. Faster and Better: How Anomaly Detection Can Accelerate and Improve Reporting of Head Computed Tomography. Diagnostics (Basel). 2022 Feb 10;12(2):452. doi: 10.3390/diagnostics12020452.
- Warman R, Warman A, Warman P, Degnan A, Blickman J, Chowdhary V, Dash D, Sangal R, Vadhan J, Bueso T, Windisch T, Neves G. Deep Learning System Boosts Radiologist Detection of Intracranial Hemorrhage. Cureus. 2022 Oct 13;14(10):e30264. doi: 10.7759/cureus.30264. eCollection 2022 Oct.
- Dyer T, Chawda S, Alkilani R, Morgan TN, Hughes M, Rasalingham S. Validation of an artificial intelligence solution for acute triage and rule-out normal of non-contrast CT head scans. Neuroradiology. 2022 Apr;64(4):735-743. doi: 10.1007/s00234-021-02826-4. Epub 2021 Oct 8.
- Mallon DH, Taylor EJR, Vittay OI, Sheeka A, Doig D, Lobotesis K. Comparison of automated ASPECTS, large vessel occlusion detection and CTP analysis provided by Brainomix and RapidAI in patients with suspected ischaemic stroke. J Stroke Cerebrovasc Dis. 2022 Oct;31(10):106702. doi: 10.1016/j.jstrokecerebrovasdis.2022.106702. Epub 2022 Aug 19.
- Andralojc LE, Kim DH, Edwards AJ. Diagnostic accuracy of a decision-support software for the detection of intracranial large-vessel occlusion in CT angiography. Clin Radiol. 2023 Apr;78(4):e313-e318. doi: 10.1016/j.crad.2022.10.017. Epub 2023 Jan 11.
- Zech JR, Badgeley MA, Liu M, Costa AB, Titano JJ, Oermann EK. Variable generalization performance of a deep learning model to detect pneumonia in chest radiographs: A cross-sectional study. PLoS Med. 2018 Nov 6;15(11):e1002683. doi: 10.1371/journal.pmed.1002683. eCollection 2018 Nov.
- Huang SC, Pareek A, Jensen M, Lungren MP, Yeung S, Chaudhari AS. Self-supervised learning for medical image classification: a systematic review and implementation guidelines. NPJ Digit Med. 2023 Apr 26;6(1):74. doi: 10.1038/s41746-023-00811-0.
- Hillis SL, Obuchowski NA, Schartz KM, Berbaum KS. A comparison of the Dorfman-Berbaum-Metz and Obuchowski-Rockette methods for receiver operating characteristic (ROC) data. Stat Med. 2005 May 30;24(10):1579-607. doi: 10.1002/sim.2024.
- Obuchowski NA. Sample size tables for receiver operating characteristic studies. AJR Am J Roentgenol. 2000 Sep;175(3):603-8. doi: 10.2214/ajr.175.3.1750603.
- Guo Y, He Y, Lyu J, Zhou Z, Yang D, Ma L, Tan HT, Chen C, Zhang W, Hu J, Han D, Ding G, Liu S, Qiao H, Xu F, Lou X, Dai Q. Deep learning with weak annotation from diagnosis reports for detection of multiple head disorders: a prospective, multicentre study. Lancet Digit Health. 2022 Aug;4(8):e584-e593. doi: 10.1016/S2589-7500(22)00090-5. Epub 2022 Jun 17.
- Fu H, Novak A, Robert D, Kumar S, Tanamala S, Oke J, Bhatia K, Shah R, Romsauerova A, Das T, Espinosa A, Grzeda MT, Narbone M, Dharmadhikari R, Harrison M, Vimalesvaran K, Gooch J, Woznitza N, Salik N, Campbell A, Khan F, Lowe DJ, Shuaib H, Ather S. AI assisted reader evaluation in acute CT head interpretation (AI-REACT): protocol for a multireader multicase study. BMJ Open. 2024 Feb 12;14(2):e079824. doi: 10.1136/bmjopen-2023-079824.
Liens utiles
- Richards M. Diagnostics: Recovery and Renewal - Report of the Independent Review of Diagnostic Services for NHS England. NHS England 2022.
- Royal College of Radiologists. Clinical radiology UK workforce census 2019 report. Royal College of Radiologists 2020.
- National Institute for Health and Care Excellence. Artificial intelligence for analysing CT brain scans. 2020.
Dates d'enregistrement des études
Dates principales de l'étude
Début de l'étude (Réel)
Achèvement primaire (Réel)
Achèvement de l'étude (Réel)
Dates d'inscription aux études
Première soumission
Première soumission répondant aux critères de contrôle qualité
Première publication (Réel)
Mises à jour des dossiers d'étude
Dernière mise à jour publiée (Réel)
Dernière mise à jour soumise répondant aux critères de contrôle qualité
Dernière vérification
Plus d'information
Termes liés à cette étude
Termes MeSH pertinents supplémentaires
- Troubles cérébrovasculaires
- Maladies du cerveau
- Maladies du système nerveux central
- Maladies du système nerveux
- Maladies vasculaires
- Maladies cardiovasculaires
- Blessures et Blessures
- Processus pathologiques
- Hémorragie
- Infarctus cérébral
- Ischémie cérébrale
- Infarctus
- Nécrose
- Traumatisme crânio-cérébral
- Traumatisme, système nerveux
- Ischémie
- Accident vasculaire cérébral
- Conditions pathologiques, signes et symptômes
- AVC ischémique
- Infarctus cérébral
- Lésions cérébrales
- Œdème cérébral
- Hydrocéphalie
- Hémorragies intracrâniennes
Autres numéros d'identification d'étude
- 310995 - A
Informations sur les médicaments et les dispositifs, documents d'étude
Étudie un produit pharmaceutique réglementé par la FDA américaine
Étudie un produit d'appareil réglementé par la FDA américaine
Ces informations ont été extraites directement du site Web clinicaltrials.gov sans aucune modification. Si vous avez des demandes de modification, de suppression ou de mise à jour des détails de votre étude, veuillez contacter register@clinicaltrials.gov. Dès qu'un changement est mis en œuvre sur clinicaltrials.gov, il sera également mis à jour automatiquement sur notre site Web .