- ICH GCP
- Amerikanska kliniska prövningsregistret
- Klinisk prövning NCT06018545
AI Assisted Reader Evaluation i akut datortomografi (CT) huvudtolkning (AI-REACT)
AI Assisted Reader Evaluation i akut CT-huvudtolkning
Denna studie har lagts till som en delstudie till studien Simulation Training for Emergency Department Imaging 2 (ClinicalTrials.gov ID NCT05427838).
Syftet med studien är att bedöma effekten av ett verktyg för artificiell intelligens (AI) kallat qER 2.0 EU på prestanda hos läsare, inklusive allmänna radiologer, akutmedicinare och radiografer, vid tolkning av CT-huvudskanningar utan kontrast. Studien syftar till att utvärdera förändringarna i noggrannhet, granskningstid och diagnostiskt förtroende vid användning av AI-verktyget. Det strävar också efter att tillhandahålla bevis på AI-verktygets diagnostiska prestanda och dess potential att förbättra effektiviteten och patientvården inom ramen för National Health Service (NHS). Studien kommer att använda en datauppsättning av 150 CT-huvudskanningar, inklusive både kontrollfall och onormala fall med specifika avvikelser. Resultaten av denna studie kommer att informera större uppföljningsstudier i verkliga akutmottagningen (ED).
Studieöversikt
Status
Betingelser
Intervention / Behandling
Studietyp
Inskrivning (Faktisk)
Kontakter och platser
Studieorter
-
-
-
Glasgow, Storbritannien, G12 0XH
- NHS Greater Glasgow and Clyde
-
Newcastle upon Tyne, Storbritannien, NE27 0QJ
- Northumbria Healthcare NHS Foundation Trust
-
-
London
-
London, London, Storbritannien, SE1 7EH
- Guy's & St Thomas NHS Foundation Trust
-
-
Oxfordshire
-
Oxford, Oxfordshire, Storbritannien, OX3 9DU
- Oxford University Hospitals NHS Foundation Trust
-
-
Deltagandekriterier
Urvalskriterier
Åldrar som är berättigade till studier
- Barn
- Vuxen
- Äldre vuxen
Tar emot friska volontärer
Testmetod
Studera befolkning
Miljö:
Läsare kommer att rekryteras från följande fyra sjukhustruster (sekundär och högre nivå:
- Guy's & St Thomas NHS Foundation Trust
- Northumbria Healthcare NHS Foundation Trust
- NHS Greater Glasgow och Clyde
- Oxford University Hospitals NHS Foundation Trust
Deltagare:
30 frivilliga läsare kommer att väljas ut från följande grupper:
- Akutmedicinska konsulter och registratorer (5 konsulter, 5 registratorer (ST3-6), 5 juniorer (F1-ST2)
- Allmänna radiologkonsulter och registratorer (5 konsulter, 5 registratorer)
- 5 CT-röntgenfotografer
Beskrivning
Inklusionskriterier:
- Radiologer/radiografer/ED-kliniker som granskar CT-huvudskanningar som en del av sin kliniska praktik
Exklusions kriterier:
- Neuroradiologer.
- Icke-radiologgrupper: Kliniker med tidigare formell forskarutbildning i CT-rapportering
- Akutmedicingrupp: Kliniker med tidigare karriär inom radiologi/neurokirurgi till registrarnivå
Studieplan
Hur är studien utformad?
Designdetaljer
Kohorter och interventioner
Grupp / Kohort |
Intervention / Behandling |
|---|---|
|
Läsare
30 läsare kommer att rekryteras från fyra NHS-förtroende, inklusive tio allmänna radiologer, femton akutmedicinska läkare och fem CT-radiografer av varierande ålder.
Läsarna kommer att tolka varje skanning först utan, sedan med hjälp av AI-verktyget, med en mellanliggande 4-veckors tvättperiod.
Med hjälp av en panel av neuroradiologer som grundsanning kommer qERs fristående prestanda att bedömas, och dess inverkan på läsarnas prestanda kommer att analyseras som förändring i noggrannhet, genomsnittlig granskningstid per skanning och självrapporterat diagnostiskt förtroende.
Undergruppsanalyser kommer att utföras efter läsarprofessionell grupp, läsaranciennitet, patologiskt fynd och neuroradiologbedömd svårighet.
|
Alla 30 läsare kommer att granska alla 150 fall, i var och en av två studiefaser.
Läsarna kommer att ge sin åsikt om förekomsten eller frånvaron av vissa akuta abnormiteter, inklusive intrakraniell blödning, infarkt, mittlinjeförskjutning och fraktur.
De kommer att ge ett förtroende för sin diagnos (10-punkts visuell analog skala), och en enda klickpunkt för att markera platsen för varje abnormitet som de anser vara närvarande.
Den tid det tar för varje skanning registreras automatiskt.
|
|
Marksanare
Två konsult neuroradiologer kommer oberoende av varandra att granska bilderna för att fastställa "grundsanningen" i CT-skanningarna som kommer att användas som referensstandard.
I händelse av oenighet kommer en tredje senior neuroradiologs yttrande att inhämtas för skiljedom.
En svårighetspoäng kommer att tilldelas varje skanning av marktränare med hjälp av en 5-punkts Likert-skala.
|
Två konsult neuroradiologer kommer oberoende av varandra att granska bilderna för att fastställa "grundsanningen" i CT-skanningarna som kommer att användas som referensstandard.
I händelse av oenighet kommer en tredje senior neuroradiologs yttrande att inhämtas för skiljedom.
|
Vad mäter studien?
Primära resultatmått
Resultatmått |
Åtgärdsbeskrivning |
Tidsram |
|---|---|---|
|
Läsarprestanda: Känslighet, specificitet, jämförande mellan med och utan AI-assistans.
Tidsram: Under 6 veckor, vilket är perioden för att läsa eller granska ärendena/skanningarna.
|
Läsarens prestanda kommer att utvärderas som känslighet, specificitet, med och utan AI-hjälp.
|
Under 6 veckor, vilket är perioden för att läsa eller granska ärendena/skanningarna.
|
|
Läsarprestanda: Positivt och negativt prediktivt värde, jämförande mellan med och utan AI-assistans.
Tidsram: Under 6 veckor, vilket är perioden för att läsa eller granska ärendena/skanningarna.
|
Läsarens prestanda kommer att utvärderas som positivt prediktivt värde (PPV) och negativt prediktivt värde (NPV), med och utan AI-hjälp.
|
Under 6 veckor, vilket är perioden för att läsa eller granska ärendena/skanningarna.
|
|
Läsarprestanda: Area Under Receiver Operating Characteristic Curve (AUROC), jämförande mellan med och utan AI-assistans.
Tidsram: Under 6 veckor, vilket är perioden för att läsa eller granska ärendena/skanningarna.
|
Läsarens prestanda kommer att utvärderas som Area Under Receiver Operating Characteristic Curve (AUROC), med och utan AI-hjälp.
|
Under 6 veckor, vilket är perioden för att läsa eller granska ärendena/skanningarna.
|
|
Läsarhastighet: Medeltid det tar att granska en skanning, med kontra utan AI-hjälp.
Tidsram: Under 6 veckor, vilket är perioden för att läsa eller granska ärendena/skanningarna.
|
Läsarhastigheten kommer att utvärderas som den tid det tar att granska en skanning, med hjälp av tid i sekunder.
|
Under 6 veckor, vilket är perioden för att läsa eller granska ärendena/skanningarna.
|
|
Läsarens förtroende: Självrapporterat diagnostiskt förtroende på en 10-punkts visuell analog skala, med kontra utan AI-hjälp.
Tidsram: Under 6 veckor, vilket är perioden för att läsa eller granska ärendena/skanningarna.
|
På läsplattformen (RAIQC) ställer en av frågorna graden av förtroende som deltagaren har för sin diagnostiska åsikt.
Frågan erbjuder en skala från 1 till 10, där 1 är osäker och 10 är mycket säker.
|
Under 6 veckor, vilket är perioden för att läsa eller granska ärendena/skanningarna.
|
|
qER (AI-algoritm) prestanda: Sensitivitet och specificitet
Tidsram: Under 6 veckor, vilket är perioden för att läsa eller granska ärendena/skanningarna.
|
qER-prestanda kommer att utvärderas som sensitivitet, specificitet.
|
Under 6 veckor, vilket är perioden för att läsa eller granska ärendena/skanningarna.
|
|
qER (AI-algoritm) prestanda: Positivt och negativt prediktivt värde.
Tidsram: Under 6 veckor, vilket är perioden för att läsa eller granska ärendena/skanningarna.
|
qER-prestanda kommer att utvärderas som positivt prediktivt värde (PPV) och negativt prediktivt värde (NPV).
|
Under 6 veckor, vilket är perioden för att läsa eller granska ärendena/skanningarna.
|
|
qER (AI-algoritm) prestanda: Area Under Receiver Operating Characteristic Curve (AUROC).
Tidsram: Under 6 veckor, vilket är perioden för att läsa eller granska ärendena/skanningarna.
|
qER-prestanda kommer att utvärderas som Area Under Receiver Operating Characteristic Curve (AUROC)
|
Under 6 veckor, vilket är perioden för att läsa eller granska ärendena/skanningarna.
|
Samarbetspartners och utredare
Utredare
- Huvudutredare: Alex Novak, MSc, National Health Services in the United Kingdom (NHS UK)
- Huvudutredare: Sarim Ather, PhD, National Health Services in the United Kingdom (NHS UK)
Publikationer och användbara länkar
Allmänna publikationer
- Juszczyk K, Ireland K, Thomas B, Kroon HM, Hollington P. Reduction in hospital admissions with an early computed tomography scan: results of an outpatient management protocol for uncomplicated acute diverticulitis. ANZ J Surg. 2019 Sep;89(9):1085-1090. doi: 10.1111/ans.15285. Epub 2019 Jun 17.
- Chan J, Fan KS, Mak TLA, Loh SY, Ng SWY, Adapala R. Pre-Operative Imaging can Reduce Negative Appendectomy Rate in Acute Appendicitis. Ulster Med J. 2020 Jan;89(1):25-28. Epub 2020 Feb 18.
- Greenhalgh R, Howlett DC, Drinkwater KJ. Royal College of Radiologists national audit evaluating the provision of imaging in the severely injured patient and compliance with national guidelines. Clin Radiol. 2020 Mar;75(3):224-231. doi: 10.1016/j.crad.2019.10.025. Epub 2019 Dec 19.
- Lin E, Yuh EL. Computational Approaches for Acute Traumatic Brain Injury Image Recognition. Front Neurol. 2022 Mar 9;13:791816. doi: 10.3389/fneur.2022.791816. eCollection 2022.
- Sheth SA, Giancardo L, Colasurdo M, Srinivasan VM, Niktabe A, Kan P. Machine learning and acute stroke imaging. J Neurointerv Surg. 2023 Feb;15(2):195-199. doi: 10.1136/neurintsurg-2021-018142. Epub 2022 May 25.
- Yeo M, Tahayori B, Kok HK, Maingard J, Kutaiba N, Russell J, Thijs V, Jhamb A, Chandra RV, Brooks M, Barras CD, Asadi H. Review of deep learning algorithms for the automatic detection of intracranial hemorrhages on computed tomography head imaging. J Neurointerv Surg. 2021 Apr;13(4):369-378. doi: 10.1136/neurintsurg-2020-017099. Epub 2021 Jan 21.
- Chilamkurthy S, Ghosh R, Tanamala S, Biviji M, Campeau NG, Venugopal VK, Mahajan V, Rao P, Warier P. Deep learning algorithms for detection of critical findings in head CT scans: a retrospective study. Lancet. 2018 Dec 1;392(10162):2388-2396. doi: 10.1016/S0140-6736(18)31645-3. Epub 2018 Oct 11.
- Lee JY, Kim JS, Kim TY, Kim YS. Detection and classification of intracranial haemorrhage on CT images using a novel deep-learning algorithm. Sci Rep. 2020 Nov 25;10(1):20546. doi: 10.1038/s41598-020-77441-z.
- Arbabshirani MR, Fornwalt BK, Mongelluzzo GJ, Suever JD, Geise BD, Patel AA, Moore GJ. Advanced machine learning in action: identification of intracranial hemorrhage on computed tomography scans of the head with clinical workflow integration. NPJ Digit Med. 2018 Apr 4;1:9. doi: 10.1038/s41746-017-0015-z. eCollection 2018.
- Davis MA, Rao B, Cedeno PA, Saha A, Zohrabian VM. Machine Learning and Improved Quality Metrics in Acute Intracranial Hemorrhage by Noncontrast Computed Tomography. Curr Probl Diagn Radiol. 2022 Jul-Aug;51(4):556-561. doi: 10.1067/j.cpradiol.2020.10.007. Epub 2020 Nov 15.
- Wardlaw JM, Mair G, von Kummer R, Williams MC, Li W, Storkey AJ, Trucco E, Liebeskind DS, Farrall A, Bath PM, White P. Accuracy of Automated Computer-Aided Diagnosis for Stroke Imaging: A Critical Evaluation of Current Evidence. Stroke. 2022 Jul;53(7):2393-2403. doi: 10.1161/STROKEAHA.121.036204. Epub 2022 Apr 20.
- Finck T, Moosbauer J, Probst M, Schlaeger S, Schuberth M, Schinz D, Yigitsoy M, Byas S, Zimmer C, Pfister F, Wiestler B. Faster and Better: How Anomaly Detection Can Accelerate and Improve Reporting of Head Computed Tomography. Diagnostics (Basel). 2022 Feb 10;12(2):452. doi: 10.3390/diagnostics12020452.
- Warman R, Warman A, Warman P, Degnan A, Blickman J, Chowdhary V, Dash D, Sangal R, Vadhan J, Bueso T, Windisch T, Neves G. Deep Learning System Boosts Radiologist Detection of Intracranial Hemorrhage. Cureus. 2022 Oct 13;14(10):e30264. doi: 10.7759/cureus.30264. eCollection 2022 Oct.
- Dyer T, Chawda S, Alkilani R, Morgan TN, Hughes M, Rasalingham S. Validation of an artificial intelligence solution for acute triage and rule-out normal of non-contrast CT head scans. Neuroradiology. 2022 Apr;64(4):735-743. doi: 10.1007/s00234-021-02826-4. Epub 2021 Oct 8.
- Mallon DH, Taylor EJR, Vittay OI, Sheeka A, Doig D, Lobotesis K. Comparison of automated ASPECTS, large vessel occlusion detection and CTP analysis provided by Brainomix and RapidAI in patients with suspected ischaemic stroke. J Stroke Cerebrovasc Dis. 2022 Oct;31(10):106702. doi: 10.1016/j.jstrokecerebrovasdis.2022.106702. Epub 2022 Aug 19.
- Andralojc LE, Kim DH, Edwards AJ. Diagnostic accuracy of a decision-support software for the detection of intracranial large-vessel occlusion in CT angiography. Clin Radiol. 2023 Apr;78(4):e313-e318. doi: 10.1016/j.crad.2022.10.017. Epub 2023 Jan 11.
- Zech JR, Badgeley MA, Liu M, Costa AB, Titano JJ, Oermann EK. Variable generalization performance of a deep learning model to detect pneumonia in chest radiographs: A cross-sectional study. PLoS Med. 2018 Nov 6;15(11):e1002683. doi: 10.1371/journal.pmed.1002683. eCollection 2018 Nov.
- Huang SC, Pareek A, Jensen M, Lungren MP, Yeung S, Chaudhari AS. Self-supervised learning for medical image classification: a systematic review and implementation guidelines. NPJ Digit Med. 2023 Apr 26;6(1):74. doi: 10.1038/s41746-023-00811-0.
- Hillis SL, Obuchowski NA, Schartz KM, Berbaum KS. A comparison of the Dorfman-Berbaum-Metz and Obuchowski-Rockette methods for receiver operating characteristic (ROC) data. Stat Med. 2005 May 30;24(10):1579-607. doi: 10.1002/sim.2024.
- Obuchowski NA. Sample size tables for receiver operating characteristic studies. AJR Am J Roentgenol. 2000 Sep;175(3):603-8. doi: 10.2214/ajr.175.3.1750603.
- Guo Y, He Y, Lyu J, Zhou Z, Yang D, Ma L, Tan HT, Chen C, Zhang W, Hu J, Han D, Ding G, Liu S, Qiao H, Xu F, Lou X, Dai Q. Deep learning with weak annotation from diagnosis reports for detection of multiple head disorders: a prospective, multicentre study. Lancet Digit Health. 2022 Aug;4(8):e584-e593. doi: 10.1016/S2589-7500(22)00090-5. Epub 2022 Jun 17.
- Fu H, Novak A, Robert D, Kumar S, Tanamala S, Oke J, Bhatia K, Shah R, Romsauerova A, Das T, Espinosa A, Grzeda MT, Narbone M, Dharmadhikari R, Harrison M, Vimalesvaran K, Gooch J, Woznitza N, Salik N, Campbell A, Khan F, Lowe DJ, Shuaib H, Ather S. AI assisted reader evaluation in acute CT head interpretation (AI-REACT): protocol for a multireader multicase study. BMJ Open. 2024 Feb 12;14(2):e079824. doi: 10.1136/bmjopen-2023-079824.
Användbara länkar
- Richards M. Diagnostics: Recovery and Renewal - Report of the Independent Review of Diagnostic Services for NHS England. NHS England 2022.
- Royal College of Radiologists. Clinical radiology UK workforce census 2019 report. Royal College of Radiologists 2020.
- National Institute for Health and Care Excellence. Artificial intelligence for analysing CT brain scans. 2020.
Studieavstämningsdatum
Studera stora datum
Studiestart (Faktisk)
Primärt slutförande (Faktisk)
Avslutad studie (Faktisk)
Studieregistreringsdatum
Först inskickad
Först inskickad som uppfyllde QC-kriterierna
Första postat (Faktisk)
Uppdateringar av studier
Senaste uppdatering publicerad (Faktisk)
Senaste inskickade uppdateringen som uppfyllde QC-kriterierna
Senast verifierad
Mer information
Termer relaterade till denna studie
Ytterligare relevanta MeSH-villkor
- Cerebrovaskulära störningar
- Hjärnsjukdomar
- Sjukdomar i centrala nervsystemet
- Sjukdomar i nervsystemet
- Kärlsjukdomar
- Hjärt-kärlsjukdomar
- Sår och skador
- Patologiska processer
- Blödning
- Hjärninfarkt
- Hjärnischemi
- Infarkt
- Nekros
- Kraniocerebralt trauma
- Trauma, nervsystemet
- Ischemi
- Stroke
- Patologiska tillstånd, tecken och symtom
- Ischemisk stroke
- Cerebral infarkt
- Hjärnskador
- Hjärnödem
- Hydrocephalus
- Intrakraniella blödningar
Andra studie-ID-nummer
- 310995 - A
Läkemedels- och apparatinformation, studiedokument
Studerar en amerikansk FDA-reglerad läkemedelsprodukt
Studerar en amerikansk FDA-reglerad produktprodukt
Denna information hämtades direkt från webbplatsen clinicaltrials.gov utan några ändringar. Om du har några önskemål om att ändra, ta bort eller uppdatera dina studieuppgifter, vänligen kontakta register@clinicaltrials.gov. Så snart en ändring har implementerats på clinicaltrials.gov, kommer denna att uppdateras automatiskt även på vår webbplats .