- ICH GCP
- Registr klinických studií v USA
- Klinická studie NCT06018545
Asistované hodnocení AI čtenářem při interpretaci hlavy akutní počítačové tomografie (CT). (AI-REACT)
Asistované hodnocení AI čtenářem při akutní interpretaci hlavy CT
Tato studie byla přidána jako dílčí studie ke studii Simulation Training for Emergency Department Imaging 2 (ClinicalTrials.gov ID NCT05427838).
Účelem studie je posoudit dopad nástroje umělé inteligence (AI) s názvem qER 2.0 EU na výkon čtenářů, včetně obecných radiologů, lékařů urgentní medicíny a radiografů, při interpretaci nekontrastní CT skenů hlavy. Cílem studie je vyhodnotit změny v přesnosti, době kontroly a diagnostické spolehlivosti při použití nástroje AI. Snaží se také poskytnout důkazy o diagnostické výkonnosti nástroje AI a jeho potenciálu zlepšit efektivitu a péči o pacienty v kontextu Národní zdravotní služby (NHS). Studie bude využívat datový soubor 150 skenů hlavy CT, včetně kontrolních případů i abnormálních případů se specifickými abnormalitami. Výsledky této studie budou sloužit jako podklad pro rozsáhlejší následné studie v reálných podmínkách na oddělení urgentního příjmu (ED).
Přehled studie
Postavení
Podmínky
Intervence / Léčba
Typ studie
Zápis (Aktuální)
Kontakty a umístění
Studijní místa
-
-
-
Glasgow, Spojené království, G12 0XH
- NHS Greater Glasgow and Clyde
-
Newcastle upon Tyne, Spojené království, NE27 0QJ
- Northumbria Healthcare NHS Foundation Trust
-
-
London
-
London, London, Spojené království, SE1 7EH
- Guy's & St Thomas NHS Foundation Trust
-
-
Oxfordshire
-
Oxford, Oxfordshire, Spojené království, OX3 9DU
- Oxford University Hospitals NHS Foundation Trust
-
-
Kritéria účasti
Kritéria způsobilosti
Věk způsobilý ke studiu
- Dítě
- Dospělý
- Starší dospělý
Přijímá zdravé dobrovolníky
Metoda odběru vzorků
Studijní populace
Nastavení:
Čtenáři se budou rekrutovat z následujících čtyř nemocničních trustů (sekundární a terciární úroveň:
- Nadace Guy's & St Thomas NHS Foundation Trust
- Northumbria Healthcare NHS Foundation Trust
- NHS Greater Glasgow a Clyde
- Oxford University Hospitals NHS Foundation Trust
Účastníci:
30 čtenářů dobrovolných účastníků bude vybráno z následujících skupin:
- Konzultanti a registrátoři urgentní medicíny (5 konzultantů, 5 registrátorů (ST3-6), 5 juniorů (F1-ST2)
- Obecní radiologičtí konzultanti a registrátoři (5 konzultantů, 5 registrátorů)
- 5 CT rentgenografů
Popis
Kritéria pro zařazení:
- Radiologové/radiografové/lékaři ED, kteří kontrolují CT skeny hlavy jako součást své klinické praxe
Kritéria vyloučení:
- Neuroradiologové.
- Neradiologické skupiny: Klinici s předchozím formálním postgraduálním školením pro podávání zpráv CT
- Skupina urgentní medicíny: Klinici s předchozí kariérou v radiologii/neurochirurgii až po úroveň registrátora
Studijní plán
Jak je studie koncipována?
Detaily designu
Kohorty a intervence
Skupina / kohorta |
Intervence / Léčba |
|---|---|
|
Čtenáři
Ve čtyřech trustech NHS bude nabráno 30 čtenářů, včetně deseti obecných radiologů, patnácti lékařů urgentní medicíny a pěti CT rentgenografů různého věku.
Čtenáři budou interpretovat každý sken nejprve bez a poté s pomocí nástroje AI s mezilehlou 4týdenní periodou vymývání.
Použitím panelu neuroradiologů jako základní pravdy bude posouzena samostatná výkonnost qER a její dopad na výkonnost čtenářů bude analyzován jako změna přesnosti, průměrná doba kontroly na sken a diagnostická spolehlivost sama hlášená.
Podskupinové analýzy budou provedeny podle čtenářské odborné skupiny, čtenářského seniorského věku, patologického nálezu a neuroradiologem hodnocené obtížnosti.
|
Všech 30 čtenářů zkontroluje všech 150 případů v každé ze dvou fází studie.
Čtenáři poskytnou svůj názor na přítomnost či nepřítomnost některých akutních abnormalit, včetně intrakraniálního krvácení, infarktu, posunu střední čáry a zlomeniny.
Poskytnou jistotu ve své diagnóze (10bodová vizuální analogová škála) a jediným kliknutím označí místo každé abnormality, kterou považují za přítomnou.
Čas potřebný pro každé skenování bude automaticky zaznamenán.
|
|
Pozemní pravdomluvci
Dva neuroradiologové konzultanti budou nezávisle přezkoumávat snímky, aby stanovili „základní pravdu“ nálezů na CT skenech, které budou použity jako referenční standard.
V případě nesouhlasu bude k arbitráži vyžádán posudek třetího senior neuroradiologa.
Skóre obtížnosti bude každému skenování přiděleno pozemními pravdivostmi pomocí 5bodové Likertovy stupnice.
|
Dva neuroradiologové konzultanti budou nezávisle přezkoumávat snímky, aby stanovili „základní pravdu“ nálezů na CT skenech, které budou použity jako referenční standard.
V případě nesouhlasu bude k arbitráži vyžádán posudek třetího senior neuroradiologa.
|
Co je měření studie?
Primární výstupní opatření
Měření výsledku |
Popis opatření |
Časové okno |
|---|---|---|
|
Výkon čtečky: Citlivost, specifičnost, srovnání s a bez pomoci umělé inteligence.
Časové okno: Během 6 týdnů, což je období pro čtení nebo kontrolu případů/skenů.
|
Výkon čtečky bude hodnocen jako citlivost, specifičnost, s pomocí AI a bez ní.
|
Během 6 týdnů, což je období pro čtení nebo kontrolu případů/skenů.
|
|
Výkon čtenáře: Pozitivní a negativní prediktivní hodnota, srovnatelná s asistencí AI a bez ní.
Časové okno: Během 6 týdnů, což je období pro čtení nebo kontrolu případů/skenů.
|
Výkon čtečky bude vyhodnocen jako pozitivní prediktivní hodnota (PPV) a negativní prediktivní hodnota (NPV), s pomocí AI i bez ní.
|
Během 6 týdnů, což je období pro čtení nebo kontrolu případů/skenů.
|
|
Výkon čtečky: Area Under Receiver Operating Characteristic Curve (AUROC), srovnatelná s asistencí AI a bez ní.
Časové okno: Během 6 týdnů, což je období pro čtení nebo kontrolu případů/skenů.
|
Výkon čtečky bude vyhodnocen jako AUROC (Aurea Under Receiver Operating Characteristic Curve) s pomocí AI i bez ní.
|
Během 6 týdnů, což je období pro čtení nebo kontrolu případů/skenů.
|
|
Rychlost čtečky: Průměrná doba potřebná ke kontrole skenu s pomocí umělé inteligence a bez ní.
Časové okno: Během 6 týdnů, což je období pro čtení nebo kontrolu případů/skenů.
|
Rychlost čtečky bude vyhodnocena jako čas strávený člověkem ke kontrole skenu s použitím časové jednotky v sekundách.
|
Během 6 týdnů, což je období pro čtení nebo kontrolu případů/skenů.
|
|
Důvěra čtenáře: Diagnostická spolehlivost na 10bodové vizuální analogové škále, vs. bez pomoci umělé inteligence.
Časové okno: Během 6 týdnů, což je období pro čtení nebo kontrolu případů/skenů.
|
Na čtenářské platformě (RAIQC) se jedna z otázek ptá na míru důvěry, kterou má účastník ve svůj diagnostický názor.
Otázka nabízí stupnici od 1 do 10, kde 1 není sebejistý a 10 je vysoce sebejistý.
|
Během 6 týdnů, což je období pro čtení nebo kontrolu případů/skenů.
|
|
Výkonnost qER (AI algoritmu): Citlivost a specificita
Časové okno: Během 6 týdnů, což je období pro čtení nebo kontrolu případů/skenů.
|
Výkon qER bude hodnocen jako senzitivita, specificita.
|
Během 6 týdnů, což je období pro čtení nebo kontrolu případů/skenů.
|
|
Výkon qER (algoritmus AI): Pozitivní a negativní prediktivní hodnota.
Časové okno: Během 6 týdnů, což je období pro čtení nebo kontrolu případů/skenů.
|
Výkonnost qER bude hodnocena jako pozitivní prediktivní hodnota (PPV) a negativní prediktivní hodnota (NPV).
|
Během 6 týdnů, což je období pro čtení nebo kontrolu případů/skenů.
|
|
Výkon qER (algoritmus AI): Area Under Receiver Operating Characteristic Curve (AUROC).
Časové okno: Během 6 týdnů, což je období pro čtení nebo kontrolu případů/skenů.
|
Výkon qER bude vyhodnocen jako AUROC (Aureola Under Receiver Operating Characteristic Curve)
|
Během 6 týdnů, což je období pro čtení nebo kontrolu případů/skenů.
|
Spolupracovníci a vyšetřovatelé
Vyšetřovatelé
- Vrchní vyšetřovatel: Alex Novak, MSc, National Health Services in the United Kingdom (NHS UK)
- Vrchní vyšetřovatel: Sarim Ather, PhD, National Health Services in the United Kingdom (NHS UK)
Publikace a užitečné odkazy
Obecné publikace
- Juszczyk K, Ireland K, Thomas B, Kroon HM, Hollington P. Reduction in hospital admissions with an early computed tomography scan: results of an outpatient management protocol for uncomplicated acute diverticulitis. ANZ J Surg. 2019 Sep;89(9):1085-1090. doi: 10.1111/ans.15285. Epub 2019 Jun 17.
- Chan J, Fan KS, Mak TLA, Loh SY, Ng SWY, Adapala R. Pre-Operative Imaging can Reduce Negative Appendectomy Rate in Acute Appendicitis. Ulster Med J. 2020 Jan;89(1):25-28. Epub 2020 Feb 18.
- Greenhalgh R, Howlett DC, Drinkwater KJ. Royal College of Radiologists national audit evaluating the provision of imaging in the severely injured patient and compliance with national guidelines. Clin Radiol. 2020 Mar;75(3):224-231. doi: 10.1016/j.crad.2019.10.025. Epub 2019 Dec 19.
- Lin E, Yuh EL. Computational Approaches for Acute Traumatic Brain Injury Image Recognition. Front Neurol. 2022 Mar 9;13:791816. doi: 10.3389/fneur.2022.791816. eCollection 2022.
- Sheth SA, Giancardo L, Colasurdo M, Srinivasan VM, Niktabe A, Kan P. Machine learning and acute stroke imaging. J Neurointerv Surg. 2023 Feb;15(2):195-199. doi: 10.1136/neurintsurg-2021-018142. Epub 2022 May 25.
- Yeo M, Tahayori B, Kok HK, Maingard J, Kutaiba N, Russell J, Thijs V, Jhamb A, Chandra RV, Brooks M, Barras CD, Asadi H. Review of deep learning algorithms for the automatic detection of intracranial hemorrhages on computed tomography head imaging. J Neurointerv Surg. 2021 Apr;13(4):369-378. doi: 10.1136/neurintsurg-2020-017099. Epub 2021 Jan 21.
- Chilamkurthy S, Ghosh R, Tanamala S, Biviji M, Campeau NG, Venugopal VK, Mahajan V, Rao P, Warier P. Deep learning algorithms for detection of critical findings in head CT scans: a retrospective study. Lancet. 2018 Dec 1;392(10162):2388-2396. doi: 10.1016/S0140-6736(18)31645-3. Epub 2018 Oct 11.
- Lee JY, Kim JS, Kim TY, Kim YS. Detection and classification of intracranial haemorrhage on CT images using a novel deep-learning algorithm. Sci Rep. 2020 Nov 25;10(1):20546. doi: 10.1038/s41598-020-77441-z.
- Arbabshirani MR, Fornwalt BK, Mongelluzzo GJ, Suever JD, Geise BD, Patel AA, Moore GJ. Advanced machine learning in action: identification of intracranial hemorrhage on computed tomography scans of the head with clinical workflow integration. NPJ Digit Med. 2018 Apr 4;1:9. doi: 10.1038/s41746-017-0015-z. eCollection 2018.
- Davis MA, Rao B, Cedeno PA, Saha A, Zohrabian VM. Machine Learning and Improved Quality Metrics in Acute Intracranial Hemorrhage by Noncontrast Computed Tomography. Curr Probl Diagn Radiol. 2022 Jul-Aug;51(4):556-561. doi: 10.1067/j.cpradiol.2020.10.007. Epub 2020 Nov 15.
- Wardlaw JM, Mair G, von Kummer R, Williams MC, Li W, Storkey AJ, Trucco E, Liebeskind DS, Farrall A, Bath PM, White P. Accuracy of Automated Computer-Aided Diagnosis for Stroke Imaging: A Critical Evaluation of Current Evidence. Stroke. 2022 Jul;53(7):2393-2403. doi: 10.1161/STROKEAHA.121.036204. Epub 2022 Apr 20.
- Finck T, Moosbauer J, Probst M, Schlaeger S, Schuberth M, Schinz D, Yigitsoy M, Byas S, Zimmer C, Pfister F, Wiestler B. Faster and Better: How Anomaly Detection Can Accelerate and Improve Reporting of Head Computed Tomography. Diagnostics (Basel). 2022 Feb 10;12(2):452. doi: 10.3390/diagnostics12020452.
- Warman R, Warman A, Warman P, Degnan A, Blickman J, Chowdhary V, Dash D, Sangal R, Vadhan J, Bueso T, Windisch T, Neves G. Deep Learning System Boosts Radiologist Detection of Intracranial Hemorrhage. Cureus. 2022 Oct 13;14(10):e30264. doi: 10.7759/cureus.30264. eCollection 2022 Oct.
- Dyer T, Chawda S, Alkilani R, Morgan TN, Hughes M, Rasalingham S. Validation of an artificial intelligence solution for acute triage and rule-out normal of non-contrast CT head scans. Neuroradiology. 2022 Apr;64(4):735-743. doi: 10.1007/s00234-021-02826-4. Epub 2021 Oct 8.
- Mallon DH, Taylor EJR, Vittay OI, Sheeka A, Doig D, Lobotesis K. Comparison of automated ASPECTS, large vessel occlusion detection and CTP analysis provided by Brainomix and RapidAI in patients with suspected ischaemic stroke. J Stroke Cerebrovasc Dis. 2022 Oct;31(10):106702. doi: 10.1016/j.jstrokecerebrovasdis.2022.106702. Epub 2022 Aug 19.
- Andralojc LE, Kim DH, Edwards AJ. Diagnostic accuracy of a decision-support software for the detection of intracranial large-vessel occlusion in CT angiography. Clin Radiol. 2023 Apr;78(4):e313-e318. doi: 10.1016/j.crad.2022.10.017. Epub 2023 Jan 11.
- Zech JR, Badgeley MA, Liu M, Costa AB, Titano JJ, Oermann EK. Variable generalization performance of a deep learning model to detect pneumonia in chest radiographs: A cross-sectional study. PLoS Med. 2018 Nov 6;15(11):e1002683. doi: 10.1371/journal.pmed.1002683. eCollection 2018 Nov.
- Huang SC, Pareek A, Jensen M, Lungren MP, Yeung S, Chaudhari AS. Self-supervised learning for medical image classification: a systematic review and implementation guidelines. NPJ Digit Med. 2023 Apr 26;6(1):74. doi: 10.1038/s41746-023-00811-0.
- Hillis SL, Obuchowski NA, Schartz KM, Berbaum KS. A comparison of the Dorfman-Berbaum-Metz and Obuchowski-Rockette methods for receiver operating characteristic (ROC) data. Stat Med. 2005 May 30;24(10):1579-607. doi: 10.1002/sim.2024.
- Obuchowski NA. Sample size tables for receiver operating characteristic studies. AJR Am J Roentgenol. 2000 Sep;175(3):603-8. doi: 10.2214/ajr.175.3.1750603.
- Guo Y, He Y, Lyu J, Zhou Z, Yang D, Ma L, Tan HT, Chen C, Zhang W, Hu J, Han D, Ding G, Liu S, Qiao H, Xu F, Lou X, Dai Q. Deep learning with weak annotation from diagnosis reports for detection of multiple head disorders: a prospective, multicentre study. Lancet Digit Health. 2022 Aug;4(8):e584-e593. doi: 10.1016/S2589-7500(22)00090-5. Epub 2022 Jun 17.
- Fu H, Novak A, Robert D, Kumar S, Tanamala S, Oke J, Bhatia K, Shah R, Romsauerova A, Das T, Espinosa A, Grzeda MT, Narbone M, Dharmadhikari R, Harrison M, Vimalesvaran K, Gooch J, Woznitza N, Salik N, Campbell A, Khan F, Lowe DJ, Shuaib H, Ather S. AI assisted reader evaluation in acute CT head interpretation (AI-REACT): protocol for a multireader multicase study. BMJ Open. 2024 Feb 12;14(2):e079824. doi: 10.1136/bmjopen-2023-079824.
Užitečné odkazy
- Richards M. Diagnostics: Recovery and Renewal - Report of the Independent Review of Diagnostic Services for NHS England. NHS England 2022.
- Royal College of Radiologists. Clinical radiology UK workforce census 2019 report. Royal College of Radiologists 2020.
- National Institute for Health and Care Excellence. Artificial intelligence for analysing CT brain scans. 2020.
Termíny studijních záznamů
Hlavní termíny studia
Začátek studia (Aktuální)
Primární dokončení (Aktuální)
Dokončení studie (Aktuální)
Termíny zápisu do studia
První předloženo
První předloženo, které splnilo kritéria kontroly kvality
První zveřejněno (Aktuální)
Aktualizace studijních záznamů
Poslední zveřejněná aktualizace (Aktuální)
Odeslaná poslední aktualizace, která splnila kritéria kontroly kvality
Naposledy ověřeno
Více informací
Termíny související s touto studií
Klíčová slova
Další relevantní podmínky MeSH
- Cerebrovaskulární poruchy
- Onemocnění mozku
- Onemocnění centrálního nervového systému
- Nemoci nervového systému
- Cévní onemocnění
- Kardiovaskulární choroby
- Rány a zranění
- Patologické procesy
- Krvácení
- Infarkt mozku
- Ischemie mozku
- Infarkt
- Nekróza
- Kraniocerebrální trauma
- Trauma, nervový systém
- Ischemie
- Mrtvice
- Patologické stavy, příznaky a symptomy
- Cévní mozková příhoda
- Mozkový infarkt
- Poranění mozku
- Edém mozku
- Hydrocefalus
- Intrakraniální krvácení
Další identifikační čísla studie
- 310995 - A
Informace o lécích a zařízeních, studijní dokumenty
Studuje lékový produkt regulovaný americkým FDA
Studuje produkt zařízení regulovaný americkým úřadem FDA
Tyto informace byly beze změn načteny přímo z webu clinicaltrials.gov. Máte-li jakékoli požadavky na změnu, odstranění nebo aktualizaci podrobností studie, kontaktujte prosím register@clinicaltrials.gov. Jakmile bude změna implementována na clinicaltrials.gov, bude automaticky aktualizována i na našem webu .
Klinické studie na Mozkový infarkt
-
Kahramanmaras Sutcu Imam UniversityNáborCerebral Palsy Gmfcs-er i-iiTurecko (Türkiye)
-
Lund UniversityNáborDěti s dětskou mozkovou obrnou, které jsou ambulantní | Cerebral Palsy Gmfcs-er i-iiŠvédsko
-
Auckland City HospitalThe University of Queensland; Auckland Medical Research Foundation; The Australian... a další spolupracovníciAktivní, ne náborMrtvice | Krevní tlak | Embolus CerebralAustrálie, Nový Zéland
-
University of New MexicoUniversity of California, San FranciscoUkončenoCerebrální kavernózní malformaceSpojené státy
-
Recursion Pharmaceuticals Inc.DokončenoCerebrální kavernózní malformaceSpojené státy
-
Beijing Tiantan HospitalZatím nenabírámeCavernózní malformace, cerebrálníČína
-
University of ChicagoMayo Clinic; National Institute of Neurological Disorders and Stroke (NINDS); University of California, San Francisco a další spolupracovníciAktivní, ne náborCerebrální kavernózní malformace | Cavernózní angiom | Hemoragická mikroangiopatieSpojené státy
-
Fondazione IRCCS Ca' Granda, Ospedale Maggiore...Fondazione Policlinico Universitario Agostino Gemelli IRCCS; Mario Negri Institute... a další spolupracovníciNáborFamiliární cerebrální kavernózní malformace | CCMItálie
-
University of California, San FranciscoUniversity of Chicago; National Institute of Neurological Disorders and Stroke... a další spolupracovníciAktivní, ne náborMozkové kavernózní malformace | Cavernózní angiom, familiární | Mozkový kavernózní hemangiomSpojené státy
-
University of ChicagoJohns Hopkins UniversityDokončenoCerebrální kavernózní malformaceSpojené státy
Klinické studie na Čtení
-
Opera CRO, a TIGERMED Group CompanyDokončeno
-
Peking UniversityAktivní, ne náborRegulace emocí | Nepříznivá zkušenost z dětstvíČína
-
Children's Hospital Medical Center, CincinnatiDokončenoVztahy mezi rodiči a dětmi | Vývoj jazyka | GramotnostSpojené státy