- ICH GCP
- Yhdysvaltain kliinisten tutkimusten rekisteri
- Kliininen tutkimus NCT06018545
AI Assisted Reader Evaluation in Acute Computed Tomography (CT) Head Interpretation (AI-REACT)
AI Assisted Reader Evaluation in Acute CT Head Interpretation
Tämä tutkimus on lisätty osatutkimuksena Simulation Training for Emergency Department Imaging 2 -tutkimukseen (ClinicalTrials.gov ID NCT05427838).
Tutkimuksen tarkoituksena on arvioida tekoälyn (AI) qER 2.0 EU -työkalun vaikutusta lukijoiden, mukaan lukien yleisradiologit, ensiapulääkärit ja röntgenhoitajat, suorituskykyyn ei-kontrastisten TT-pään skannausten tulkinnassa. Tutkimuksen tavoitteena on arvioida tarkkuuden, tarkasteluajan ja diagnostisen varmuuden muutoksia tekoälytyökalua käytettäessä. Se pyrkii myös tarjoamaan näyttöä tekoälytyökalun diagnostisesta suorituskyvystä ja sen mahdollisuuksista parantaa tehokkuutta ja potilaiden hoitoa kansallisen terveyspalvelun (NHS) yhteydessä. Tutkimuksessa käytetään 150 pään CT-skannauksen tietojoukkoa, joka sisältää sekä kontrollitapaukset että epänormaalit tapaukset, joissa on tiettyjä poikkeavuuksia. Tämän tutkimuksen tulokset tukevat laajempia seurantatutkimuksia tosielämän ensiapuosaston (ED) ympäristöissä.
Tutkimuksen yleiskatsaus
Tila
Ehdot
Interventio / Hoito
Opintotyyppi
Ilmoittautuminen (Todellinen)
Yhteystiedot ja paikat
Opiskelupaikat
-
-
-
Glasgow, Yhdistynyt kuningaskunta, G12 0XH
- NHS Greater Glasgow and Clyde
-
Newcastle upon Tyne, Yhdistynyt kuningaskunta, NE27 0QJ
- Northumbria Healthcare NHS Foundation Trust
-
-
London
-
London, London, Yhdistynyt kuningaskunta, SE1 7EH
- Guy's & St Thomas NHS Foundation Trust
-
-
Oxfordshire
-
Oxford, Oxfordshire, Yhdistynyt kuningaskunta, OX3 9DU
- Oxford University Hospitals NHS Foundation Trust
-
-
Osallistumiskriteerit
Kelpoisuusvaatimukset
Opintokelpoiset iät
- Lapsi
- Aikuinen
- Vanhempi Aikuinen
Hyväksyy terveitä vapaaehtoisia
Näytteenottomenetelmä
Tutkimusväestö
Asetus:
Lukijat rekrytoidaan seuraavista neljästä sairaalasäätiöstä (toissijainen ja korkea-asteen taso):
- Guy's & St Thomas NHS Foundation Trust
- Northumbria Healthcare NHS Foundation Trust
- NHS Greater Glasgow ja Clyde
- Oxford University Hospitals NHS Foundation Trust
Osallistujat:
30 vapaaehtoista lukijaa valitaan seuraavista ryhmistä:
- Päivystyslääkärit ja -hoitajat (5 konsulttia, 5 kirjaajaa (ST3-6), 5 junioria (F1-ST2)
- Yleisradiologikonsultit ja -rekisteröijät (5 konsulttia, 5 kirjaajaa)
- 5 CT-radiografia
Kuvaus
Sisällyttämiskriteerit:
- Radiologit/radiografit/ED-kliinikot, jotka tarkastelevat pään CT-skannauksia osana kliinistä käytäntöään
Poissulkemiskriteerit:
- Neuroradiologit.
- Ei-radiologiryhmät: Kliinikot, joilla on aikaisempi muodollinen jatkotutkinto-TT-raportointikoulutus
- Ensiapulääketieteen ryhmä: Kliinikot, jotka ovat aiemmin tehneet radiologian/neurokirurgian uran rekisterinpitäjätasolle
Opintosuunnitelma
Miten tutkimus on suunniteltu?
Suunnittelun yksityiskohdat
Kohortit ja interventiot
Ryhmä/Kohortti |
Interventio / Hoito |
|---|---|
|
Lukijat
30 lukijaa rekrytoidaan neljästä NHS:n säätiöstä, mukaan lukien kymmenen yleisradiologia, viisitoista ensiapulääkäriä ja viisi TT-radiologia, joilla on eri ikäero.
Lukijat tulkitsevat jokaisen skannauksen ensin ilman tekoälytyökalua ja sitten AI-työkalun avulla, ja välissä on 4 viikon pesujakso.
Neuroradiologien paneelin avulla arvioidaan qER:n itsenäistä suorituskykyä, ja sen vaikutusta lukijoiden suorituskykyyn analysoidaan tarkkuuden muutoksena, skannauksen keskimääräisenä tarkasteluajana ja itseraportoituna diagnostisena varmuutena.
Alaryhmäanalyysit tehdään lukijan ammattiryhmän, lukijan iän, patologisen löydön ja neuroradiologin arvioiman vaikeusasteen mukaan.
|
Kaikki 30 lukijaa käyvät läpi kaikki 150 tapausta kussakin kahdessa tutkimusvaiheessa.
Lukijat kertovat mielipiteensä joidenkin akuuttien poikkeavuuksien olemassaolosta tai puuttumisesta, mukaan lukien kallonsisäinen verenvuoto, infarkti, keskilinjan siirtymä ja murtuma.
Ne tarjoavat varmuutta diagnoosistaan (10 pisteen visuaalinen analoginen asteikko) ja yhden napsautuspisteen merkitsevät jokaisen poikkeavuuden sijainnin, jonka he katsovat olevan olemassa.
Jokaiseen skannaukseen käytetty aika tallennetaan automaattisesti.
|
|
Perustotuuksia
Kaksi konsulttia neuroradiologia tarkastelee kuvia itsenäisesti vahvistaakseen "perustotuus" löydöksiä CT-skannauksista, joita käytetään vertailustandardina.
Erimielisyystapauksissa välimiesmenettelyä varten pyydetään kolmannen vanhemman neuroradiologin lausunto.
Maan totuustutkijat antavat jokaiselle skannaukselle vaikeuspistemäärän 5-pisteen Likert-asteikolla.
|
Kaksi konsulttia neuroradiologia tarkastelee kuvia itsenäisesti vahvistaakseen "perustotuus" löydöksiä CT-skannauksista, joita käytetään vertailustandardina.
Erimielisyystapauksissa välimiesmenettelyä varten pyydetään kolmannen vanhemman neuroradiologin lausunto.
|
Mitä tutkimuksessa mitataan?
Ensisijaiset tulostoimenpiteet
Tulosmittaus |
Toimenpiteen kuvaus |
Aikaikkuna |
|---|---|---|
|
Lukijan suorituskyky: Herkkyys, spesifisyys, vertailu AI-avun kanssa ja ilman.
Aikaikkuna: 6 viikon aikana, joka on tapausten/skannausten lukemisen tai tarkistamisen aika.
|
Lukijan suorituskykyä arvioidaan herkkyydellä, spesifisyydellä, tekoälyn avulla ja ilman.
|
6 viikon aikana, joka on tapausten/skannausten lukemisen tai tarkistamisen aika.
|
|
Lukijan suorituskyky: Positiivinen ja negatiivinen ennustearvo, vertailu AI-avun kanssa ja ilman.
Aikaikkuna: 6 viikon aikana, joka on tapausten/skannausten lukemisen tai tarkistamisen aika.
|
Lukijan suorituskyky arvioidaan positiivisena ennakoivana arvona (PPV) ja negatiivisena ennustearvona (NPV) sekä tekoälyn avulla että ilman.
|
6 viikon aikana, joka on tapausten/skannausten lukemisen tai tarkistamisen aika.
|
|
Lukijan suorituskyky: Vastaanottimen toimintakäyrän alla oleva alue (AUROC), vertailu AI-avustuksen kanssa ja ilman.
Aikaikkuna: 6 viikon aikana, joka on tapausten/skannausten lukemisen tai tarkistamisen aika.
|
Lukijan suorituskyky arvioidaan vastaanottimen alaisena toimintakäyränä (AUROC) sekä tekoälyn avulla että ilman.
|
6 viikon aikana, joka on tapausten/skannausten lukemisen tai tarkistamisen aika.
|
|
Lukijan nopeus: Keskimääräinen aika, joka kuluu skannauksen tarkistamiseen, kun tekoälyapua ei käytetä.
Aikaikkuna: 6 viikon aikana, joka on tapausten/skannausten lukemisen tai tarkistamisen aika.
|
Lukijan nopeus arvioidaan skannauksen tarkastelemiseen kuluneena aikana käyttäen sekuntien aikayksikköä.
|
6 viikon aikana, joka on tapausten/skannausten lukemisen tai tarkistamisen aika.
|
|
Lukijan luottamus: Itseraportoitu diagnostinen luottamus 10 pisteen visuaalisella analogisella asteikolla, ilman tekoälyä.
Aikaikkuna: 6 viikon aikana, joka on tapausten/skannausten lukemisen tai tarkistamisen aika.
|
Lukualustalla (RAIQC) yksi kysymyksistä kysyy, kuinka luotettava osallistujalla on diagnostiseen mielipiteeseen.
Kysymys tarjoaa asteikon 1-10, jossa 1 ei ole varma ja 10 on erittäin itsevarma.
|
6 viikon aikana, joka on tapausten/skannausten lukemisen tai tarkistamisen aika.
|
|
qER (AI-algoritmi) suorituskyky: Herkkyys ja spesifisyys
Aikaikkuna: 6 viikon aikana, joka on tapausten/skannausten lukemisen tai tarkistamisen aika.
|
qER-suorituskyky arvioidaan herkkyydeksi, spesifisyydeksi.
|
6 viikon aikana, joka on tapausten/skannausten lukemisen tai tarkistamisen aika.
|
|
qER (AI-algoritmin) suorituskyky: Positiivinen ja negatiivinen ennustearvo.
Aikaikkuna: 6 viikon aikana, joka on tapausten/skannausten lukemisen tai tarkistamisen aika.
|
qER-suorituskyky arvioidaan positiivisena ennakoivana arvona (PPV) ja negatiivisena ennustearvona (NPV).
|
6 viikon aikana, joka on tapausten/skannausten lukemisen tai tarkistamisen aika.
|
|
qER (AI-algoritmi) suorituskyky: Vastaanottimen toimintakäyrän alla oleva alue (AUROC).
Aikaikkuna: 6 viikon aikana, joka on tapausten/skannausten lukemisen tai tarkistamisen aika.
|
qER-suorituskyky arvioidaan vastaanottimen alaisena toimintakäyränä (AUROC)
|
6 viikon aikana, joka on tapausten/skannausten lukemisen tai tarkistamisen aika.
|
Yhteistyökumppanit ja tutkijat
Tutkijat
- Päätutkija: Alex Novak, MSc, National Health Services in the United Kingdom (NHS UK)
- Päätutkija: Sarim Ather, PhD, National Health Services in the United Kingdom (NHS UK)
Julkaisuja ja hyödyllisiä linkkejä
Yleiset julkaisut
- Juszczyk K, Ireland K, Thomas B, Kroon HM, Hollington P. Reduction in hospital admissions with an early computed tomography scan: results of an outpatient management protocol for uncomplicated acute diverticulitis. ANZ J Surg. 2019 Sep;89(9):1085-1090. doi: 10.1111/ans.15285. Epub 2019 Jun 17.
- Chan J, Fan KS, Mak TLA, Loh SY, Ng SWY, Adapala R. Pre-Operative Imaging can Reduce Negative Appendectomy Rate in Acute Appendicitis. Ulster Med J. 2020 Jan;89(1):25-28. Epub 2020 Feb 18.
- Greenhalgh R, Howlett DC, Drinkwater KJ. Royal College of Radiologists national audit evaluating the provision of imaging in the severely injured patient and compliance with national guidelines. Clin Radiol. 2020 Mar;75(3):224-231. doi: 10.1016/j.crad.2019.10.025. Epub 2019 Dec 19.
- Lin E, Yuh EL. Computational Approaches for Acute Traumatic Brain Injury Image Recognition. Front Neurol. 2022 Mar 9;13:791816. doi: 10.3389/fneur.2022.791816. eCollection 2022.
- Sheth SA, Giancardo L, Colasurdo M, Srinivasan VM, Niktabe A, Kan P. Machine learning and acute stroke imaging. J Neurointerv Surg. 2023 Feb;15(2):195-199. doi: 10.1136/neurintsurg-2021-018142. Epub 2022 May 25.
- Yeo M, Tahayori B, Kok HK, Maingard J, Kutaiba N, Russell J, Thijs V, Jhamb A, Chandra RV, Brooks M, Barras CD, Asadi H. Review of deep learning algorithms for the automatic detection of intracranial hemorrhages on computed tomography head imaging. J Neurointerv Surg. 2021 Apr;13(4):369-378. doi: 10.1136/neurintsurg-2020-017099. Epub 2021 Jan 21.
- Chilamkurthy S, Ghosh R, Tanamala S, Biviji M, Campeau NG, Venugopal VK, Mahajan V, Rao P, Warier P. Deep learning algorithms for detection of critical findings in head CT scans: a retrospective study. Lancet. 2018 Dec 1;392(10162):2388-2396. doi: 10.1016/S0140-6736(18)31645-3. Epub 2018 Oct 11.
- Lee JY, Kim JS, Kim TY, Kim YS. Detection and classification of intracranial haemorrhage on CT images using a novel deep-learning algorithm. Sci Rep. 2020 Nov 25;10(1):20546. doi: 10.1038/s41598-020-77441-z.
- Arbabshirani MR, Fornwalt BK, Mongelluzzo GJ, Suever JD, Geise BD, Patel AA, Moore GJ. Advanced machine learning in action: identification of intracranial hemorrhage on computed tomography scans of the head with clinical workflow integration. NPJ Digit Med. 2018 Apr 4;1:9. doi: 10.1038/s41746-017-0015-z. eCollection 2018.
- Davis MA, Rao B, Cedeno PA, Saha A, Zohrabian VM. Machine Learning and Improved Quality Metrics in Acute Intracranial Hemorrhage by Noncontrast Computed Tomography. Curr Probl Diagn Radiol. 2022 Jul-Aug;51(4):556-561. doi: 10.1067/j.cpradiol.2020.10.007. Epub 2020 Nov 15.
- Wardlaw JM, Mair G, von Kummer R, Williams MC, Li W, Storkey AJ, Trucco E, Liebeskind DS, Farrall A, Bath PM, White P. Accuracy of Automated Computer-Aided Diagnosis for Stroke Imaging: A Critical Evaluation of Current Evidence. Stroke. 2022 Jul;53(7):2393-2403. doi: 10.1161/STROKEAHA.121.036204. Epub 2022 Apr 20.
- Finck T, Moosbauer J, Probst M, Schlaeger S, Schuberth M, Schinz D, Yigitsoy M, Byas S, Zimmer C, Pfister F, Wiestler B. Faster and Better: How Anomaly Detection Can Accelerate and Improve Reporting of Head Computed Tomography. Diagnostics (Basel). 2022 Feb 10;12(2):452. doi: 10.3390/diagnostics12020452.
- Warman R, Warman A, Warman P, Degnan A, Blickman J, Chowdhary V, Dash D, Sangal R, Vadhan J, Bueso T, Windisch T, Neves G. Deep Learning System Boosts Radiologist Detection of Intracranial Hemorrhage. Cureus. 2022 Oct 13;14(10):e30264. doi: 10.7759/cureus.30264. eCollection 2022 Oct.
- Dyer T, Chawda S, Alkilani R, Morgan TN, Hughes M, Rasalingham S. Validation of an artificial intelligence solution for acute triage and rule-out normal of non-contrast CT head scans. Neuroradiology. 2022 Apr;64(4):735-743. doi: 10.1007/s00234-021-02826-4. Epub 2021 Oct 8.
- Mallon DH, Taylor EJR, Vittay OI, Sheeka A, Doig D, Lobotesis K. Comparison of automated ASPECTS, large vessel occlusion detection and CTP analysis provided by Brainomix and RapidAI in patients with suspected ischaemic stroke. J Stroke Cerebrovasc Dis. 2022 Oct;31(10):106702. doi: 10.1016/j.jstrokecerebrovasdis.2022.106702. Epub 2022 Aug 19.
- Andralojc LE, Kim DH, Edwards AJ. Diagnostic accuracy of a decision-support software for the detection of intracranial large-vessel occlusion in CT angiography. Clin Radiol. 2023 Apr;78(4):e313-e318. doi: 10.1016/j.crad.2022.10.017. Epub 2023 Jan 11.
- Zech JR, Badgeley MA, Liu M, Costa AB, Titano JJ, Oermann EK. Variable generalization performance of a deep learning model to detect pneumonia in chest radiographs: A cross-sectional study. PLoS Med. 2018 Nov 6;15(11):e1002683. doi: 10.1371/journal.pmed.1002683. eCollection 2018 Nov.
- Huang SC, Pareek A, Jensen M, Lungren MP, Yeung S, Chaudhari AS. Self-supervised learning for medical image classification: a systematic review and implementation guidelines. NPJ Digit Med. 2023 Apr 26;6(1):74. doi: 10.1038/s41746-023-00811-0.
- Hillis SL, Obuchowski NA, Schartz KM, Berbaum KS. A comparison of the Dorfman-Berbaum-Metz and Obuchowski-Rockette methods for receiver operating characteristic (ROC) data. Stat Med. 2005 May 30;24(10):1579-607. doi: 10.1002/sim.2024.
- Obuchowski NA. Sample size tables for receiver operating characteristic studies. AJR Am J Roentgenol. 2000 Sep;175(3):603-8. doi: 10.2214/ajr.175.3.1750603.
- Guo Y, He Y, Lyu J, Zhou Z, Yang D, Ma L, Tan HT, Chen C, Zhang W, Hu J, Han D, Ding G, Liu S, Qiao H, Xu F, Lou X, Dai Q. Deep learning with weak annotation from diagnosis reports for detection of multiple head disorders: a prospective, multicentre study. Lancet Digit Health. 2022 Aug;4(8):e584-e593. doi: 10.1016/S2589-7500(22)00090-5. Epub 2022 Jun 17.
- Fu H, Novak A, Robert D, Kumar S, Tanamala S, Oke J, Bhatia K, Shah R, Romsauerova A, Das T, Espinosa A, Grzeda MT, Narbone M, Dharmadhikari R, Harrison M, Vimalesvaran K, Gooch J, Woznitza N, Salik N, Campbell A, Khan F, Lowe DJ, Shuaib H, Ather S. AI assisted reader evaluation in acute CT head interpretation (AI-REACT): protocol for a multireader multicase study. BMJ Open. 2024 Feb 12;14(2):e079824. doi: 10.1136/bmjopen-2023-079824.
Hyödyllisiä linkkejä
- Richards M. Diagnostics: Recovery and Renewal - Report of the Independent Review of Diagnostic Services for NHS England. NHS England 2022.
- Royal College of Radiologists. Clinical radiology UK workforce census 2019 report. Royal College of Radiologists 2020.
- National Institute for Health and Care Excellence. Artificial intelligence for analysing CT brain scans. 2020.
Opintojen ennätyspäivät
Opi tärkeimmät päivämäärät
Opiskelun aloitus (Todellinen)
Ensisijainen valmistuminen (Todellinen)
Opintojen valmistuminen (Todellinen)
Opintoihin ilmoittautumispäivät
Ensimmäinen lähetetty
Ensimmäinen toimitettu, joka täytti QC-kriteerit
Ensimmäinen Lähetetty (Todellinen)
Tutkimustietojen päivitykset
Viimeisin päivitys julkaistu (Todellinen)
Viimeisin lähetetty päivitys, joka täytti QC-kriteerit
Viimeksi vahvistettu
Lisää tietoa
Tähän tutkimukseen liittyvät termit
Avainsanat
Muita asiaankuuluvia MeSH-ehtoja
- Aivoverenkiertohäiriöt
- Aivojen sairaudet
- Keskushermoston sairaudet
- Hermoston sairaudet
- Verisuonisairaudet
- Sydän-ja verisuonitaudit
- Haavat ja vammat
- Patologiset prosessit
- Verenvuoto
- Aivoinfarkti
- Aivojen iskemia
- Infarkti
- Nekroosi
- Kranioaivo-trauma
- Trauma, hermosto
- Iskemia
- Aivohalvaus
- Patologiset tilat, merkit ja oireet
- Iskeeminen aivohalvaus
- Aivoinfarkti
- Aivovammat
- Aivoturvotus
- Vesipää
- Intrakraniaaliset verenvuotot
Muut tutkimustunnusnumerot
- 310995 - A
Lääke- ja laitetiedot, tutkimusasiakirjat
Tutkii yhdysvaltalaista FDA sääntelemää lääkevalmistetta
Tutkii yhdysvaltalaista FDA sääntelemää laitetuotetta
Nämä tiedot haettiin suoraan verkkosivustolta clinicaltrials.gov ilman muutoksia. Jos sinulla on pyyntöjä muuttaa, poistaa tai päivittää tutkimustietojasi, ota yhteyttä register@clinicaltrials.gov. Heti kun muutos on otettu käyttöön osoitteessa clinicaltrials.gov, se päivitetään automaattisesti myös verkkosivustollemme .
Kliiniset tutkimukset Aivoinfarkti
-
Second Affiliated Hospital, School of Medicine,...ValmisAnterior Cerebral Circulation -infarkti | Aivoverenkierron tukos | Collateral VerenkiertoKiina
-
Second Affiliated Hospital, School of Medicine,...PeruutettuIntrakraniaalinen arterioskleroosi | Vakuutuskierto | Anterior Cerebral Circulation -infarktiKiina
-
Jeju National University HospitalPusan National University Hospital; Asan Medical Center; Chonnam National... ja muut yhteistyökumppanitRekrytointiCADASIL | Cerebral Autosomal Dominant Arteriopatie With Subcortical Infarcts and LeukoencephalopathyEtelä -Korea
Kliiniset tutkimukset Lukeminen
-
Peking UniversityAktiivinen, ei rekrytointiTunteiden säätely | Haitallinen lapsuuskokemusKiina
-
Children's Hospital Medical Center, CincinnatiValmisSovelluspohjaisen lähestymistavan testaaminen luku- ja näyttöajan ohjaamiseen imeväisten vanhemmilleVanhempien ja lasten väliset suhteet | Kielen kehitys | Luku-ja kirjoitustaitoYhdysvallat
-
Vanderbilt UniversityFlorida State University; Southern Methodist UniversityValmisLukuongelmaYhdysvallat