- ICH GCP
- Register voor klinische proeven in de VS.
- Klinische proef NCT06018545
AI-ondersteunde lezerevaluatie bij hoofdinterpretatie van acute computertomografie (CT). (AI-REACT)
AI-ondersteunde lezerevaluatie bij acute CT-hoofdinterpretatie
Dit onderzoek is als deelonderzoek toegevoegd aan het Simulation Training for Emergency Department Imaging 2-onderzoek (ClinicalTrials.gov ID NCT05427838).
Het doel van het onderzoek is om de impact te beoordelen van een hulpmiddel voor kunstmatige intelligentie (AI), genaamd qER 2.0 EU, op de prestaties van lezers, waaronder algemene radiologen, artsen in de spoedeisende hulp en radiografen, bij het interpreteren van niet-contrast CT-hoofdscans. Het onderzoek heeft tot doel de veranderingen in nauwkeurigheid, beoordelingstijd en diagnostisch vertrouwen te evalueren bij het gebruik van de AI-tool. Het wil ook bewijs leveren over de diagnostische prestaties van de AI-tool en het potentieel ervan om de efficiëntie en patiëntenzorg in de context van de National Health Service (NHS) te verbeteren. Het onderzoek zal gebruik maken van een dataset van 150 CT-hoofdscans, waaronder zowel controlegevallen als abnormale gevallen met specifieke afwijkingen. De resultaten van dit onderzoek zullen als basis dienen voor grotere vervolgstudies op de spoedeisende hulp (SEH) in de praktijk.
Studie Overzicht
Toestand
Conditie
Interventie / Behandeling
Studietype
Inschrijving (Werkelijk)
Contacten en locaties
Studie Locaties
-
-
-
Glasgow, Verenigd Koninkrijk, G12 0XH
- NHS Greater Glasgow and Clyde
-
Newcastle upon Tyne, Verenigd Koninkrijk, NE27 0QJ
- Northumbria Healthcare NHS Foundation Trust
-
-
London
-
London, London, Verenigd Koninkrijk, SE1 7EH
- Guy's & St Thomas NHS Foundation Trust
-
-
Oxfordshire
-
Oxford, Oxfordshire, Verenigd Koninkrijk, OX3 9DU
- Oxford University Hospitals NHS Foundation Trust
-
-
Deelname Criteria
Geschiktheidscriteria
Leeftijden die in aanmerking komen voor studie
- Kind
- Volwassen
- Oudere volwassene
Accepteert gezonde vrijwilligers
Bemonsteringsmethode
Studie Bevolking
Instelling:
Lezers zullen worden gerekruteerd uit de volgende vier ziekenhuistrusts (secundair en tertiair niveau:
- Guy's & St Thomas NHS Foundation Trust
- Northumbria Healthcare NHS Foundation Trust
- NHS Greater Glasgow en Clyde
- Oxford Universitaire Ziekenhuizen NHS Foundation Trust
Deelnemers:
Er worden 30 vrijwillige deelnemerslezers geselecteerd uit de volgende groepen:
- Adviseurs en griffiers voor spoedeisende geneeskunde (5 consultants, 5 griffiers (ST3-6), 5 junior (F1-ST2)
- Algemene radiologenconsulenten en griffiers (5 consulenten, 5 griffiers)
- 5 CT-röntgenfotografen
Beschrijving
Inclusiecriteria:
- Radiologen/radiografen/ED-artsen die CT-hoofdscans beoordelen als onderdeel van hun klinische praktijk
Uitsluitingscriteria:
- Neuroradiologen.
- Groepen van niet-radiologen: artsen die eerder een formele postdoctorale training in CT-rapportage hebben gevolgd
- Groep spoedeisende geneeskunde: artsen met een eerdere carrière in radiologie/neurochirurgie tot registrarniveau
Studie plan
Hoe is de studie opgezet?
Ontwerpdetails
Cohorten en interventies
Groep / Cohort |
Interventie / Behandeling |
|---|---|
|
Lezers
Er zullen 30 lezers worden gerekruteerd in vier NHS-trusts, waaronder tien algemene radiologen, vijftien artsen in de spoedeisende hulp en vijf CT-radiografen van verschillende anciënniteit.
Lezers interpreteren elke scan eerst zonder en vervolgens met de hulp van de AI-tool, met een tussenliggende wash-outperiode van vier weken.
Met behulp van een panel van neuroradiologen als basiswaarheid zullen de op zichzelf staande prestaties van qER worden beoordeeld, en de impact ervan op de prestaties van de lezers zal worden geanalyseerd als verandering in nauwkeurigheid, gemiddelde beoordelingstijd per scan en zelfgerapporteerd diagnostisch vertrouwen.
Subgroepanalyses zullen worden uitgevoerd op basis van de professionele groep van de lezer, de anciënniteit van de lezer, de pathologische bevindingen en de door neuroradiologen beoordeelde moeilijkheidsgraad.
|
Alle 30 lezers zullen alle 150 cases beoordelen, in elk van de twee studiefasen.
De lezers zullen hun mening geven over de aan- of afwezigheid van enkele acute afwijkingen, waaronder intracraniale bloedingen, infarcten, midline shifts en fracturen.
Ze zullen vertrouwen geven in hun diagnose (visuele analoge schaal van 10 punten) en een enkel klikpunt om de locatie te markeren van elke afwijking die zij als aanwezig beschouwen.
De tijd die voor elke scan nodig is, wordt automatisch geregistreerd.
|
|
Grondwaarheden
Twee consultant-neuroradiologen zullen de beelden onafhankelijk beoordelen om de 'grondwaarheid'-bevindingen vast te stellen op de CT-scans die als referentiestandaard zullen worden gebruikt.
Bij onenigheid zal ter arbitrage het advies van een derde senior neuroradioloog worden gevraagd.
De grondwaarnemers zullen aan elke scan een moeilijkheidsscore toekennen met behulp van een 5-punts Likertschaal.
|
Twee consultant-neuroradiologen zullen de beelden onafhankelijk beoordelen om de 'grondwaarheid'-bevindingen vast te stellen op de CT-scans die als referentiestandaard zullen worden gebruikt.
Bij onenigheid zal ter arbitrage het advies van een derde senior neuroradioloog worden gevraagd.
|
Wat meet het onderzoek?
Primaire uitkomstmaten
Uitkomstmaat |
Maatregel Beschrijving |
Tijdsspanne |
|---|---|---|
|
Lezerprestaties: gevoeligheid, specificiteit, vergelijking tussen met en zonder AI-ondersteuning.
Tijdsspanne: Gedurende 6 weken, de periode voor het inlezen of beoordelen van de casussen/scans.
|
De prestaties van de lezer worden geëvalueerd als gevoeligheid en specificiteit, met en zonder AI-ondersteuning.
|
Gedurende 6 weken, de periode voor het inlezen of beoordelen van de casussen/scans.
|
|
Lezerprestaties: positieve en negatieve voorspellende waarde, vergelijkend tussen met en zonder AI-ondersteuning.
Tijdsspanne: Gedurende 6 weken, de periode voor het inlezen of beoordelen van de casussen/scans.
|
De prestaties van de lezer worden geëvalueerd als positieve voorspellende waarde (PPV) en negatief voorspellende waarde (NPV), met en zonder AI-ondersteuning.
|
Gedurende 6 weken, de periode voor het inlezen of beoordelen van de casussen/scans.
|
|
Lezerprestaties: Area Under Receiver Operating Characteristic Curve (AUROC), vergelijkend tussen met en zonder AI-ondersteuning.
Tijdsspanne: Gedurende 6 weken, de periode voor het inlezen of beoordelen van de casussen/scans.
|
De prestaties van de lezer worden geëvalueerd als Area Under Receiver Operating Characteristic Curve (AUROC), met en zonder AI-ondersteuning.
|
Gedurende 6 weken, de periode voor het inlezen of beoordelen van de casussen/scans.
|
|
Lezersnelheid: gemiddelde tijd die nodig is om een scan te beoordelen, met versus zonder AI-ondersteuning.
Tijdsspanne: Gedurende 6 weken, de periode voor het inlezen of beoordelen van de casussen/scans.
|
De leessnelheid wordt geëvalueerd als de mantijd die nodig is om een scan te bekijken, waarbij gebruik wordt gemaakt van de tijdseenheid van seconden.
|
Gedurende 6 weken, de periode voor het inlezen of beoordelen van de casussen/scans.
|
|
Lezersvertrouwen: zelfgerapporteerd diagnostisch vertrouwen op een visuele analoge schaal van 10 punten, met versus zonder AI-ondersteuning.
Tijdsspanne: Gedurende 6 weken, de periode voor het inlezen of beoordelen van de casussen/scans.
|
Op het leesplatform (RAIQC) wordt in een van de vragen gevraagd naar het niveau van vertrouwen dat de deelnemer heeft in zijn diagnostische mening.
De vraag biedt een schaal van 1 tot 10, waarbij 1 staat voor niet zeker en 10 voor zeer zeker.
|
Gedurende 6 weken, de periode voor het inlezen of beoordelen van de casussen/scans.
|
|
qER-prestaties (AI-algoritme): gevoeligheid en specificiteit
Tijdsspanne: Gedurende 6 weken, de periode voor het inlezen of beoordelen van de casussen/scans.
|
qER-prestaties zullen worden geëvalueerd als gevoeligheid en specificiteit.
|
Gedurende 6 weken, de periode voor het inlezen of beoordelen van de casussen/scans.
|
|
qER-prestaties (AI-algoritme): positieve en negatieve voorspellende waarde.
Tijdsspanne: Gedurende 6 weken, de periode voor het inlezen of beoordelen van de casussen/scans.
|
qER-prestaties worden geëvalueerd als positief voorspellende waarde (PPV) en negatief voorspellende waarde (NPV).
|
Gedurende 6 weken, de periode voor het inlezen of beoordelen van de casussen/scans.
|
|
qER-prestaties (AI-algoritme): Area Under Receiver Operating Characteristic Curve (AUROC).
Tijdsspanne: Gedurende 6 weken, de periode voor het inlezen of beoordelen van de casussen/scans.
|
qER-prestaties worden geëvalueerd als Area Under Receiver Operating Characteristic Curve (AUROC)
|
Gedurende 6 weken, de periode voor het inlezen of beoordelen van de casussen/scans.
|
Medewerkers en onderzoekers
Onderzoekers
- Hoofdonderzoeker: Alex Novak, MSc, National Health Services in the United Kingdom (NHS UK)
- Hoofdonderzoeker: Sarim Ather, PhD, National Health Services in the United Kingdom (NHS UK)
Publicaties en nuttige links
Algemene publicaties
- Juszczyk K, Ireland K, Thomas B, Kroon HM, Hollington P. Reduction in hospital admissions with an early computed tomography scan: results of an outpatient management protocol for uncomplicated acute diverticulitis. ANZ J Surg. 2019 Sep;89(9):1085-1090. doi: 10.1111/ans.15285. Epub 2019 Jun 17.
- Chan J, Fan KS, Mak TLA, Loh SY, Ng SWY, Adapala R. Pre-Operative Imaging can Reduce Negative Appendectomy Rate in Acute Appendicitis. Ulster Med J. 2020 Jan;89(1):25-28. Epub 2020 Feb 18.
- Greenhalgh R, Howlett DC, Drinkwater KJ. Royal College of Radiologists national audit evaluating the provision of imaging in the severely injured patient and compliance with national guidelines. Clin Radiol. 2020 Mar;75(3):224-231. doi: 10.1016/j.crad.2019.10.025. Epub 2019 Dec 19.
- Lin E, Yuh EL. Computational Approaches for Acute Traumatic Brain Injury Image Recognition. Front Neurol. 2022 Mar 9;13:791816. doi: 10.3389/fneur.2022.791816. eCollection 2022.
- Sheth SA, Giancardo L, Colasurdo M, Srinivasan VM, Niktabe A, Kan P. Machine learning and acute stroke imaging. J Neurointerv Surg. 2023 Feb;15(2):195-199. doi: 10.1136/neurintsurg-2021-018142. Epub 2022 May 25.
- Yeo M, Tahayori B, Kok HK, Maingard J, Kutaiba N, Russell J, Thijs V, Jhamb A, Chandra RV, Brooks M, Barras CD, Asadi H. Review of deep learning algorithms for the automatic detection of intracranial hemorrhages on computed tomography head imaging. J Neurointerv Surg. 2021 Apr;13(4):369-378. doi: 10.1136/neurintsurg-2020-017099. Epub 2021 Jan 21.
- Chilamkurthy S, Ghosh R, Tanamala S, Biviji M, Campeau NG, Venugopal VK, Mahajan V, Rao P, Warier P. Deep learning algorithms for detection of critical findings in head CT scans: a retrospective study. Lancet. 2018 Dec 1;392(10162):2388-2396. doi: 10.1016/S0140-6736(18)31645-3. Epub 2018 Oct 11.
- Lee JY, Kim JS, Kim TY, Kim YS. Detection and classification of intracranial haemorrhage on CT images using a novel deep-learning algorithm. Sci Rep. 2020 Nov 25;10(1):20546. doi: 10.1038/s41598-020-77441-z.
- Arbabshirani MR, Fornwalt BK, Mongelluzzo GJ, Suever JD, Geise BD, Patel AA, Moore GJ. Advanced machine learning in action: identification of intracranial hemorrhage on computed tomography scans of the head with clinical workflow integration. NPJ Digit Med. 2018 Apr 4;1:9. doi: 10.1038/s41746-017-0015-z. eCollection 2018.
- Davis MA, Rao B, Cedeno PA, Saha A, Zohrabian VM. Machine Learning and Improved Quality Metrics in Acute Intracranial Hemorrhage by Noncontrast Computed Tomography. Curr Probl Diagn Radiol. 2022 Jul-Aug;51(4):556-561. doi: 10.1067/j.cpradiol.2020.10.007. Epub 2020 Nov 15.
- Wardlaw JM, Mair G, von Kummer R, Williams MC, Li W, Storkey AJ, Trucco E, Liebeskind DS, Farrall A, Bath PM, White P. Accuracy of Automated Computer-Aided Diagnosis for Stroke Imaging: A Critical Evaluation of Current Evidence. Stroke. 2022 Jul;53(7):2393-2403. doi: 10.1161/STROKEAHA.121.036204. Epub 2022 Apr 20.
- Finck T, Moosbauer J, Probst M, Schlaeger S, Schuberth M, Schinz D, Yigitsoy M, Byas S, Zimmer C, Pfister F, Wiestler B. Faster and Better: How Anomaly Detection Can Accelerate and Improve Reporting of Head Computed Tomography. Diagnostics (Basel). 2022 Feb 10;12(2):452. doi: 10.3390/diagnostics12020452.
- Warman R, Warman A, Warman P, Degnan A, Blickman J, Chowdhary V, Dash D, Sangal R, Vadhan J, Bueso T, Windisch T, Neves G. Deep Learning System Boosts Radiologist Detection of Intracranial Hemorrhage. Cureus. 2022 Oct 13;14(10):e30264. doi: 10.7759/cureus.30264. eCollection 2022 Oct.
- Dyer T, Chawda S, Alkilani R, Morgan TN, Hughes M, Rasalingham S. Validation of an artificial intelligence solution for acute triage and rule-out normal of non-contrast CT head scans. Neuroradiology. 2022 Apr;64(4):735-743. doi: 10.1007/s00234-021-02826-4. Epub 2021 Oct 8.
- Mallon DH, Taylor EJR, Vittay OI, Sheeka A, Doig D, Lobotesis K. Comparison of automated ASPECTS, large vessel occlusion detection and CTP analysis provided by Brainomix and RapidAI in patients with suspected ischaemic stroke. J Stroke Cerebrovasc Dis. 2022 Oct;31(10):106702. doi: 10.1016/j.jstrokecerebrovasdis.2022.106702. Epub 2022 Aug 19.
- Andralojc LE, Kim DH, Edwards AJ. Diagnostic accuracy of a decision-support software for the detection of intracranial large-vessel occlusion in CT angiography. Clin Radiol. 2023 Apr;78(4):e313-e318. doi: 10.1016/j.crad.2022.10.017. Epub 2023 Jan 11.
- Zech JR, Badgeley MA, Liu M, Costa AB, Titano JJ, Oermann EK. Variable generalization performance of a deep learning model to detect pneumonia in chest radiographs: A cross-sectional study. PLoS Med. 2018 Nov 6;15(11):e1002683. doi: 10.1371/journal.pmed.1002683. eCollection 2018 Nov.
- Huang SC, Pareek A, Jensen M, Lungren MP, Yeung S, Chaudhari AS. Self-supervised learning for medical image classification: a systematic review and implementation guidelines. NPJ Digit Med. 2023 Apr 26;6(1):74. doi: 10.1038/s41746-023-00811-0.
- Hillis SL, Obuchowski NA, Schartz KM, Berbaum KS. A comparison of the Dorfman-Berbaum-Metz and Obuchowski-Rockette methods for receiver operating characteristic (ROC) data. Stat Med. 2005 May 30;24(10):1579-607. doi: 10.1002/sim.2024.
- Obuchowski NA. Sample size tables for receiver operating characteristic studies. AJR Am J Roentgenol. 2000 Sep;175(3):603-8. doi: 10.2214/ajr.175.3.1750603.
- Guo Y, He Y, Lyu J, Zhou Z, Yang D, Ma L, Tan HT, Chen C, Zhang W, Hu J, Han D, Ding G, Liu S, Qiao H, Xu F, Lou X, Dai Q. Deep learning with weak annotation from diagnosis reports for detection of multiple head disorders: a prospective, multicentre study. Lancet Digit Health. 2022 Aug;4(8):e584-e593. doi: 10.1016/S2589-7500(22)00090-5. Epub 2022 Jun 17.
- Fu H, Novak A, Robert D, Kumar S, Tanamala S, Oke J, Bhatia K, Shah R, Romsauerova A, Das T, Espinosa A, Grzeda MT, Narbone M, Dharmadhikari R, Harrison M, Vimalesvaran K, Gooch J, Woznitza N, Salik N, Campbell A, Khan F, Lowe DJ, Shuaib H, Ather S. AI assisted reader evaluation in acute CT head interpretation (AI-REACT): protocol for a multireader multicase study. BMJ Open. 2024 Feb 12;14(2):e079824. doi: 10.1136/bmjopen-2023-079824.
Nuttige links
- Richards M. Diagnostics: Recovery and Renewal - Report of the Independent Review of Diagnostic Services for NHS England. NHS England 2022.
- Royal College of Radiologists. Clinical radiology UK workforce census 2019 report. Royal College of Radiologists 2020.
- National Institute for Health and Care Excellence. Artificial intelligence for analysing CT brain scans. 2020.
Studie record data
Bestudeer belangrijke data
Studie start (Werkelijk)
Primaire voltooiing (Werkelijk)
Studie voltooiing (Werkelijk)
Studieregistratiedata
Eerst ingediend
Eerst ingediend dat voldeed aan de QC-criteria
Eerst geplaatst (Werkelijk)
Updates van studierecords
Laatste update geplaatst (Werkelijk)
Laatste update ingediend die voldeed aan QC-criteria
Laatst geverifieerd
Meer informatie
Termen gerelateerd aan deze studie
Aanvullende relevante MeSH-voorwaarden
- Cerebrovasculaire aandoeningen
- Hersenziekten
- Ziekten van het centrale zenuwstelsel
- Ziekten van het zenuwstelsel
- Vaatziekten
- Hart-en vaatziekten
- Wonden en verwondingen
- Pathologische processen
- Bloeding
- Herseninfarct
- Ischemie van de hersenen
- Infarct
- Necrose
- Craniocerebraal trauma
- Trauma, zenuwstelsel
- Ischemie
- Hartinfarct
- Pathologische aandoeningen, tekenen en symptomen
- Ischemische beroerte
- Herseninfarct
- Hersenletsel
- Hersenoedeem
- Hydrocephalus
- Intracraniële bloedingen
Andere studie-ID-nummers
- 310995 - A
Informatie over medicijnen en apparaten, studiedocumenten
Bestudeert een door de Amerikaanse FDA gereguleerd geneesmiddel
Bestudeert een door de Amerikaanse FDA gereguleerd apparaatproduct
Deze informatie is zonder wijzigingen rechtstreeks van de website clinicaltrials.gov gehaald. Als u verzoeken heeft om uw onderzoeksgegevens te wijzigen, te verwijderen of bij te werken, neem dan contact op met register@clinicaltrials.gov. Zodra er een wijziging wordt doorgevoerd op clinicaltrials.gov, wordt deze ook automatisch bijgewerkt op onze website .