- ICH GCP
- US Clinical Trials Registry
- Klinisk utprøving NCT06018545
AI Assisted Reader Evaluation in Acute Computed Tomography (CT) Head Interpretation (AI-REACT)
AI-assistert leserevaluering i akutt CT-hodetolkning
Denne studien er lagt til som en delstudie til Simulation Training for Emergency Department Imaging 2-studien (ClinicalTrials.gov ID NCT05427838).
Hensikten med studien er å vurdere virkningen av et kunstig intelligens (AI)-verktøy kalt qER 2.0 EU på ytelsen til lesere, inkludert generelle radiologer, akuttmedisinere og radiografer, ved tolkning av CT-hodeskanninger uten kontrast. Studien tar sikte på å evaluere endringene i nøyaktighet, gjennomgangstid og diagnostisk tillit ved bruk av AI-verktøyet. Den søker også å fremskaffe bevis på den diagnostiske ytelsen til AI-verktøyet og dets potensial for å forbedre effektiviteten og pasientbehandlingen i sammenheng med National Health Service (NHS). Studien vil bruke et datasett med 150 CT-hodeskanninger, inkludert både kontrolltilfeller og unormale tilfeller med spesifikke abnormiteter. Resultatene av denne studien vil informere større oppfølgingsstudier i virkelige akuttavdelinger (ED).
Studieoversikt
Status
Forhold
Intervensjon / Behandling
Studietype
Registrering (Faktiske)
Kontakter og plasseringer
Studiesteder
-
-
-
Glasgow, Storbritannia, G12 0XH
- NHS Greater Glasgow and Clyde
-
Newcastle upon Tyne, Storbritannia, NE27 0QJ
- Northumbria Healthcare NHS Foundation Trust
-
-
London
-
London, London, Storbritannia, SE1 7EH
- Guy's & St Thomas NHS Foundation Trust
-
-
Oxfordshire
-
Oxford, Oxfordshire, Storbritannia, OX3 9DU
- Oxford University Hospitals NHS Foundation Trust
-
-
Deltakelseskriterier
Kvalifikasjonskriterier
Alder som er kvalifisert for studier
- Barn
- Voksen
- Eldre voksen
Tar imot friske frivillige
Prøvetakingsmetode
Studiepopulasjon
Innstilling:
Lesere vil bli rekruttert fra følgende fire sykehustruster (sekundært og tertiært nivå:
- Guy's & St Thomas NHS Foundation Trust
- Northumbria Healthcare NHS Foundation Trust
- NHS Greater Glasgow og Clyde
- Oxford University Hospitals NHS Foundation Trust
Deltakere:
30 frivillige lesere vil bli valgt ut fra følgende grupper:
- Akuttmedisinske konsulenter og registrarer (5 konsulenter, 5 registrarer (ST3-6), 5 junior (F1-ST2)
- Generelle radiologkonsulenter og registratorer (5 konsulenter, 5 registrarer)
- 5 CT-radiografer
Beskrivelse
Inklusjonskriterier:
- Radiologer/radiografer/ED-klinikere som gjennomgår CT-hodeskanninger som en del av sin kliniske praksis
Ekskluderingskriterier:
- Nevroradiologer.
- Ikke-radiologgrupper: Klinikere med tidligere formell postgraduate CT-rapporteringsopplæring
- Akuttmedisingruppe: Klinikere med tidligere karriere innen radiologi/nevrokirurgi til registrarnivå
Studieplan
Hvordan er studiet utformet?
Designdetaljer
Kohorter og intervensjoner
Gruppe / Kohort |
Intervensjon / Behandling |
|---|---|
|
Lesere
30 lesere vil bli rekruttert på tvers av fire NHS-truster, inkludert ti generelle radiologer, femten akuttmedisinske klinikere og fem CT-radiografer med varierende ansiennitet.
Leserne vil tolke hver skanning først uten, deretter med hjelp av AI-verktøyet, med en mellomliggende 4-ukers utvaskingsperiode.
Ved å bruke et panel av nevroradiologer som grunnleggende sannhet, vil den frittstående ytelsen til qER bli vurdert, og dens innvirkning på lesernes ytelse vil bli analysert som endring i nøyaktighet, gjennomsnittlig gjennomgangstid per skanning og selvrapportert diagnostisk tillit.
Undergruppeanalyser vil bli utført etter leserfaggruppe, leseransiennitet, patologisk funn og nevroradiologvurdert vanskelighetsgrad.
|
Alle de 30 leserne vil gjennomgå alle de 150 sakene, i hver av to studiefaser.
Leserne vil gi sin mening om tilstedeværelse eller fravær av noen akutte abnormiteter, inkludert intrakraniell blødning, infarkt, midtlinjeforskyvning og fraktur.
De vil gi en tillit til diagnosen deres (10-punkts visuell analog skala), og et enkelt klikkpunkt for å markere plasseringen av hver avvik som de anser som tilstede.
Tiden det tar for hver skanning blir automatisk registrert.
|
|
Ground truthers
To konsulentnevroradiologer vil uavhengig gjennomgå bildene for å fastslå "grunnsannheten"-funnene på CT-skanningene som vil bli brukt som referansestandard.
Ved uenighet vil en tredje senior nevroradiologs uttalelse bli innhentet for voldgift.
En vanskelighetsscore vil bli tildelt hver skanning av bakketrerne ved å bruke en 5-punkts Likert-skala.
|
To konsulentnevroradiologer vil uavhengig gjennomgå bildene for å fastslå "grunnsannheten"-funnene på CT-skanningene som vil bli brukt som referansestandard.
Ved uenighet vil en tredje senior nevroradiologs uttalelse bli innhentet for voldgift.
|
Hva måler studien?
Primære resultatmål
Resultatmål |
Tiltaksbeskrivelse |
Tidsramme |
|---|---|---|
|
Leserytelse: Sensitivitet, spesifisitet, komparativ mellom med og uten AI-hjelp.
Tidsramme: I løpet av 6 uker, som er perioden for å lese eller gjennomgå sakene/skanningene.
|
Leserens ytelse vil bli evaluert som sensitivitet, spesifisitet, med og uten AI-hjelp.
|
I løpet av 6 uker, som er perioden for å lese eller gjennomgå sakene/skanningene.
|
|
Leserytelse: Positiv og negativ prediktiv verdi, sammenlignende mellom med og uten AI-hjelp.
Tidsramme: I løpet av 6 uker, som er perioden for å lese eller gjennomgå sakene/skanningene.
|
Leserytelse vil bli evaluert som positiv prediktiv verdi (PPV) og negativ prediktiv verdi (NPV), med og uten AI-hjelp.
|
I løpet av 6 uker, som er perioden for å lese eller gjennomgå sakene/skanningene.
|
|
Leserytelse: Area Under Receiver Operating Characteristic Curve (AUROC), sammenlignende mellom med og uten AI-hjelp.
Tidsramme: I løpet av 6 uker, som er perioden for å lese eller gjennomgå sakene/skanningene.
|
Leserens ytelse vil bli evaluert som Area Under Receiver Operating Characteristic Curve (AUROC), med og uten AI-hjelp.
|
I løpet av 6 uker, som er perioden for å lese eller gjennomgå sakene/skanningene.
|
|
Leserhastighet: Gjennomsnittlig tid det tar å gjennomgå en skanning, med kontra uten AI-hjelp.
Tidsramme: I løpet av 6 uker, som er perioden for å lese eller gjennomgå sakene/skanningene.
|
Leserhastigheten vil bli evaluert som tiden det tar å se gjennom en skanning, ved å bruke tiden i sekunder.
|
I løpet av 6 uker, som er perioden for å lese eller gjennomgå sakene/skanningene.
|
|
Lesertillit: Selvrapportert diagnostisk tillit på en 10-punkts visuell analog skala, med kontra uten AI-hjelp.
Tidsramme: I løpet av 6 uker, som er perioden for å lese eller gjennomgå sakene/skanningene.
|
På leseplattformen (RAIQC) spør ett av spørsmålene hvilken tillit deltakeren har til sin diagnostiske mening.
Spørsmålet tilbyr en skala fra 1 til 10, hvor 1 er usikker, og 10 er svært sikker.
|
I løpet av 6 uker, som er perioden for å lese eller gjennomgå sakene/skanningene.
|
|
qER (AI-algoritme) ytelse: Sensitivitet og spesifisitet
Tidsramme: I løpet av 6 uker, som er perioden for å lese eller gjennomgå sakene/skanningene.
|
qER-ytelse vil bli evaluert som sensitivitet, spesifisitet.
|
I løpet av 6 uker, som er perioden for å lese eller gjennomgå sakene/skanningene.
|
|
qER (AI-algoritme) ytelse: Positiv og negativ prediktiv verdi.
Tidsramme: I løpet av 6 uker, som er perioden for å lese eller gjennomgå sakene/skanningene.
|
qER-ytelse vil bli evaluert som positiv prediktiv verdi (PPV) og negativ prediktiv verdi (NPV).
|
I løpet av 6 uker, som er perioden for å lese eller gjennomgå sakene/skanningene.
|
|
qER (AI-algoritme) ytelse: Area Under Receiver Operating Characteristic Curve (AUROC).
Tidsramme: I løpet av 6 uker, som er perioden for å lese eller gjennomgå sakene/skanningene.
|
qER-ytelsen vil bli evaluert som Area Under Receiver Operating Characteristic Curve (AUROC)
|
I løpet av 6 uker, som er perioden for å lese eller gjennomgå sakene/skanningene.
|
Samarbeidspartnere og etterforskere
Etterforskere
- Hovedetterforsker: Alex Novak, MSc, National Health Services in the United Kingdom (NHS UK)
- Hovedetterforsker: Sarim Ather, PhD, National Health Services in the United Kingdom (NHS UK)
Publikasjoner og nyttige lenker
Generelle publikasjoner
- Juszczyk K, Ireland K, Thomas B, Kroon HM, Hollington P. Reduction in hospital admissions with an early computed tomography scan: results of an outpatient management protocol for uncomplicated acute diverticulitis. ANZ J Surg. 2019 Sep;89(9):1085-1090. doi: 10.1111/ans.15285. Epub 2019 Jun 17.
- Chan J, Fan KS, Mak TLA, Loh SY, Ng SWY, Adapala R. Pre-Operative Imaging can Reduce Negative Appendectomy Rate in Acute Appendicitis. Ulster Med J. 2020 Jan;89(1):25-28. Epub 2020 Feb 18.
- Greenhalgh R, Howlett DC, Drinkwater KJ. Royal College of Radiologists national audit evaluating the provision of imaging in the severely injured patient and compliance with national guidelines. Clin Radiol. 2020 Mar;75(3):224-231. doi: 10.1016/j.crad.2019.10.025. Epub 2019 Dec 19.
- Lin E, Yuh EL. Computational Approaches for Acute Traumatic Brain Injury Image Recognition. Front Neurol. 2022 Mar 9;13:791816. doi: 10.3389/fneur.2022.791816. eCollection 2022.
- Sheth SA, Giancardo L, Colasurdo M, Srinivasan VM, Niktabe A, Kan P. Machine learning and acute stroke imaging. J Neurointerv Surg. 2023 Feb;15(2):195-199. doi: 10.1136/neurintsurg-2021-018142. Epub 2022 May 25.
- Yeo M, Tahayori B, Kok HK, Maingard J, Kutaiba N, Russell J, Thijs V, Jhamb A, Chandra RV, Brooks M, Barras CD, Asadi H. Review of deep learning algorithms for the automatic detection of intracranial hemorrhages on computed tomography head imaging. J Neurointerv Surg. 2021 Apr;13(4):369-378. doi: 10.1136/neurintsurg-2020-017099. Epub 2021 Jan 21.
- Chilamkurthy S, Ghosh R, Tanamala S, Biviji M, Campeau NG, Venugopal VK, Mahajan V, Rao P, Warier P. Deep learning algorithms for detection of critical findings in head CT scans: a retrospective study. Lancet. 2018 Dec 1;392(10162):2388-2396. doi: 10.1016/S0140-6736(18)31645-3. Epub 2018 Oct 11.
- Lee JY, Kim JS, Kim TY, Kim YS. Detection and classification of intracranial haemorrhage on CT images using a novel deep-learning algorithm. Sci Rep. 2020 Nov 25;10(1):20546. doi: 10.1038/s41598-020-77441-z.
- Arbabshirani MR, Fornwalt BK, Mongelluzzo GJ, Suever JD, Geise BD, Patel AA, Moore GJ. Advanced machine learning in action: identification of intracranial hemorrhage on computed tomography scans of the head with clinical workflow integration. NPJ Digit Med. 2018 Apr 4;1:9. doi: 10.1038/s41746-017-0015-z. eCollection 2018.
- Davis MA, Rao B, Cedeno PA, Saha A, Zohrabian VM. Machine Learning and Improved Quality Metrics in Acute Intracranial Hemorrhage by Noncontrast Computed Tomography. Curr Probl Diagn Radiol. 2022 Jul-Aug;51(4):556-561. doi: 10.1067/j.cpradiol.2020.10.007. Epub 2020 Nov 15.
- Wardlaw JM, Mair G, von Kummer R, Williams MC, Li W, Storkey AJ, Trucco E, Liebeskind DS, Farrall A, Bath PM, White P. Accuracy of Automated Computer-Aided Diagnosis for Stroke Imaging: A Critical Evaluation of Current Evidence. Stroke. 2022 Jul;53(7):2393-2403. doi: 10.1161/STROKEAHA.121.036204. Epub 2022 Apr 20.
- Finck T, Moosbauer J, Probst M, Schlaeger S, Schuberth M, Schinz D, Yigitsoy M, Byas S, Zimmer C, Pfister F, Wiestler B. Faster and Better: How Anomaly Detection Can Accelerate and Improve Reporting of Head Computed Tomography. Diagnostics (Basel). 2022 Feb 10;12(2):452. doi: 10.3390/diagnostics12020452.
- Warman R, Warman A, Warman P, Degnan A, Blickman J, Chowdhary V, Dash D, Sangal R, Vadhan J, Bueso T, Windisch T, Neves G. Deep Learning System Boosts Radiologist Detection of Intracranial Hemorrhage. Cureus. 2022 Oct 13;14(10):e30264. doi: 10.7759/cureus.30264. eCollection 2022 Oct.
- Dyer T, Chawda S, Alkilani R, Morgan TN, Hughes M, Rasalingham S. Validation of an artificial intelligence solution for acute triage and rule-out normal of non-contrast CT head scans. Neuroradiology. 2022 Apr;64(4):735-743. doi: 10.1007/s00234-021-02826-4. Epub 2021 Oct 8.
- Mallon DH, Taylor EJR, Vittay OI, Sheeka A, Doig D, Lobotesis K. Comparison of automated ASPECTS, large vessel occlusion detection and CTP analysis provided by Brainomix and RapidAI in patients with suspected ischaemic stroke. J Stroke Cerebrovasc Dis. 2022 Oct;31(10):106702. doi: 10.1016/j.jstrokecerebrovasdis.2022.106702. Epub 2022 Aug 19.
- Andralojc LE, Kim DH, Edwards AJ. Diagnostic accuracy of a decision-support software for the detection of intracranial large-vessel occlusion in CT angiography. Clin Radiol. 2023 Apr;78(4):e313-e318. doi: 10.1016/j.crad.2022.10.017. Epub 2023 Jan 11.
- Zech JR, Badgeley MA, Liu M, Costa AB, Titano JJ, Oermann EK. Variable generalization performance of a deep learning model to detect pneumonia in chest radiographs: A cross-sectional study. PLoS Med. 2018 Nov 6;15(11):e1002683. doi: 10.1371/journal.pmed.1002683. eCollection 2018 Nov.
- Huang SC, Pareek A, Jensen M, Lungren MP, Yeung S, Chaudhari AS. Self-supervised learning for medical image classification: a systematic review and implementation guidelines. NPJ Digit Med. 2023 Apr 26;6(1):74. doi: 10.1038/s41746-023-00811-0.
- Hillis SL, Obuchowski NA, Schartz KM, Berbaum KS. A comparison of the Dorfman-Berbaum-Metz and Obuchowski-Rockette methods for receiver operating characteristic (ROC) data. Stat Med. 2005 May 30;24(10):1579-607. doi: 10.1002/sim.2024.
- Obuchowski NA. Sample size tables for receiver operating characteristic studies. AJR Am J Roentgenol. 2000 Sep;175(3):603-8. doi: 10.2214/ajr.175.3.1750603.
- Guo Y, He Y, Lyu J, Zhou Z, Yang D, Ma L, Tan HT, Chen C, Zhang W, Hu J, Han D, Ding G, Liu S, Qiao H, Xu F, Lou X, Dai Q. Deep learning with weak annotation from diagnosis reports for detection of multiple head disorders: a prospective, multicentre study. Lancet Digit Health. 2022 Aug;4(8):e584-e593. doi: 10.1016/S2589-7500(22)00090-5. Epub 2022 Jun 17.
- Fu H, Novak A, Robert D, Kumar S, Tanamala S, Oke J, Bhatia K, Shah R, Romsauerova A, Das T, Espinosa A, Grzeda MT, Narbone M, Dharmadhikari R, Harrison M, Vimalesvaran K, Gooch J, Woznitza N, Salik N, Campbell A, Khan F, Lowe DJ, Shuaib H, Ather S. AI assisted reader evaluation in acute CT head interpretation (AI-REACT): protocol for a multireader multicase study. BMJ Open. 2024 Feb 12;14(2):e079824. doi: 10.1136/bmjopen-2023-079824.
Hjelpsomme linker
- Richards M. Diagnostics: Recovery and Renewal - Report of the Independent Review of Diagnostic Services for NHS England. NHS England 2022.
- Royal College of Radiologists. Clinical radiology UK workforce census 2019 report. Royal College of Radiologists 2020.
- National Institute for Health and Care Excellence. Artificial intelligence for analysing CT brain scans. 2020.
Studierekorddatoer
Studer hoveddatoer
Studiestart (Faktiske)
Primær fullføring (Faktiske)
Studiet fullført (Faktiske)
Datoer for studieregistrering
Først innsendt
Først innsendt som oppfylte QC-kriteriene
Først lagt ut (Faktiske)
Oppdateringer av studieposter
Sist oppdatering lagt ut (Faktiske)
Siste oppdatering sendt inn som oppfylte QC-kriteriene
Sist bekreftet
Mer informasjon
Begreper knyttet til denne studien
Ytterligere relevante MeSH-vilkår
- Cerebrovaskulære lidelser
- Hjernesykdommer
- Sykdommer i sentralnervesystemet
- Sykdommer i nervesystemet
- Vaskulære sykdommer
- Kardiovaskulære sykdommer
- Sår og skader
- Patologiske prosesser
- Blødning
- Hjerneinfarkt
- Hjerneiskemi
- Infarkt
- Nekrose
- Kraniocerebralt traume
- Traumer, nervesystemet
- Iskemi
- Slag
- Patologiske tilstander, tegn og symptomer
- Iskemisk hjerneslag
- Cerebralt infarkt
- Hjerneskader
- Hjerneødem
- Hydrocephalus
- Intrakranielle blødninger
Andre studie-ID-numre
- 310995 - A
Legemiddel- og utstyrsinformasjon, studiedokumenter
Studerer et amerikansk FDA-regulert medikamentprodukt
Studerer et amerikansk FDA-regulert enhetsprodukt
Denne informasjonen ble hentet direkte fra nettstedet clinicaltrials.gov uten noen endringer. Hvis du har noen forespørsler om å endre, fjerne eller oppdatere studiedetaljene dine, vennligst kontakt register@clinicaltrials.gov. Så snart en endring er implementert på clinicaltrials.gov, vil denne også bli oppdatert automatisk på nettstedet vårt. .