AI Assisted Reader Evaluation in Acute Computed Tomography (CT) Head Interpretation (AI-REACT)
2025. november 19. frissítette: Alex Novak, Oxford University Hospitals NHS Trust
AI által támogatott olvasóértékelés az akut CT-fejértelmezésben
Ezt a tanulmányt a Simulation Training for Emergency Department Imaging 2 tanulmányhoz adtuk hozzá (ClinicalTrials.gov ID NCT05427838).
A tanulmány célja, hogy felmérje a qER 2.0 EU nevű mesterséges intelligencia (AI) eszköz hatását az olvasók, köztük az általános radiológusok, a sürgősségi orvosok és a radiográfusok teljesítményére a nem kontrasztos CT-fejvizsgálatok értelmezésében. A tanulmány célja, hogy értékelje a pontosság, az áttekintési idő és a diagnosztikai megbízhatóság változásait az AI-eszköz használatakor. Arra is törekszik, hogy bizonyítékot szolgáltasson az MI-eszköz diagnosztikai teljesítményéről, valamint a hatékonyság és a betegellátás javítására irányuló lehetőségeiről a Nemzeti Egészségügyi Szolgálat (NHS) összefüggésében. A vizsgálat 150 CT-fejvizsgálatból álló adatkészletet fog használni, beleértve a kontrolleseteket és a specifikus eltérésekkel járó abnormális eseteket is. Ennek a tanulmánynak az eredményei a valós sürgősségi osztályon (ED) végzett nagyobb nyomon követési vizsgálatok alapját képezik.
A tanulmány áttekintése
Állapot
Befejezve
Körülmények
Beavatkozás / kezelés
Tanulmány típusa
Megfigyelő
Beiratkozás (Tényleges)
33
Kapcsolatok és helyek
Ez a rész a vizsgálatot végzők elérhetőségeit, valamint a vizsgálat lefolytatásának helyére vonatkozó információkat tartalmazza.
Tanulmányi helyek
-
-
-
Glasgow, Egyesült Királyság, G12 0XH
- NHS Greater Glasgow and Clyde
-
Newcastle upon Tyne, Egyesült Királyság, NE27 0QJ
- Northumbria Healthcare NHS Foundation Trust
-
-
London
-
London, London, Egyesült Királyság, SE1 7EH
- Guy's & St Thomas NHS Foundation Trust
-
-
Oxfordshire
-
Oxford, Oxfordshire, Egyesült Királyság, OX3 9DU
- Oxford University Hospitals NHS Foundation Trust
-
-
Részvételi kritériumok
A kutatók olyan embereket keresnek, akik megfelelnek egy bizonyos leírásnak, az úgynevezett jogosultsági kritériumoknak. Néhány példa ezekre a kritériumokra a személy általános egészségi állapota vagy a korábbi kezelések.
Jogosultsági kritériumok
Tanulmányozható életkorok
- Gyermek
- Felnőtt
- Idősebb felnőtt
Egészséges önkénteseket fogad
Igen
Mintavételi módszer
Nem valószínűségi minta
Tanulmányi populáció
Beállítás:
Az olvasókat a következő négy kórházi trösztből toborozzák (közép- és felsőfokú):
- Guy's & St Thomas NHS Foundation Trust
- Northumbria Healthcare NHS Foundation Trust
- NHS Greater Glasgow és Clyde
- Oxford University Hospitals NHS Foundation Trust
Résztvevők:
30 önkéntes résztvevő olvasót választanak ki a következő csoportokból:
- Sürgősségi orvosi tanácsadók és jegyzők (5 tanácsadó, 5 hivatalvezető (ST3-6), 5 junior (F1-ST2)
- Általános radiológus tanácsadók és jegyzők (5 tanácsadó, 5 jegyző)
- 5 CT radiográfus
Leírás
Bevételi kritériumok:
- Radiológusok/radiográfusok/ED-klinikusok, akik klinikai gyakorlatuk részeként felülvizsgálják a CT-fejvizsgálatokat
Kizárási kritériumok:
- Neuroradiológusok.
- Nem radiológus csoportok: olyan klinikusok, akik korábban hivatalos posztgraduális CT-jelentési képzésben részesültek
- Sürgősségi orvosi csoport: olyan klinikusok, akik korábban radiológiai/idegsebészeti pályafutással rendelkeznek, nyilvántartói szintig
Tanulási terv
Ez a rész a vizsgálati terv részleteit tartalmazza, beleértve a vizsgálat megtervezését és a vizsgálat mérését.
Hogyan készül a tanulmány?
Tervezési részletek
Kohorszok és beavatkozások
Csoport / Kohorsz |
Beavatkozás / kezelés |
|---|---|
|
Olvasók
30 olvasót vesznek fel négy NHS-trösztből, köztük tíz általános radiológust, tizenöt sürgősségi orvost és öt különböző beosztású CT-radiológust.
Az olvasók minden egyes szkennelést először az AI-eszköz nélkül, majd az AI-eszköz segítségével értelmeznek, egy köztes 4 hetes kimosási időszakkal.
A neuroradiológusokból álló testület alapvető igazságként értékeli a qER önálló teljesítményét, és az olvasói teljesítményre gyakorolt hatását a pontosság változásaként, a vizsgálatonkénti átlagos felülvizsgálati idő és az önbeszámoló diagnosztikai magabiztosság változásaként elemezzük.
Az alcsoport-elemzéseket olvasói szakmacsoport, olvasói szolgálati idő, kóros lelet és neuroradiológus által minősített nehézség szerint végezzük.
|
Mind a 30 olvasó áttekinti mind a 150 esetet, mind a két vizsgálati fázisban.
Az olvasók elmondják véleményüket egyes akut rendellenességek meglétéről vagy hiányáról, beleértve az intracranialis vérzést, az infarktust, a középvonali eltolódást és a törést.
Megbizonyosodnak a diagnózisukról (10 pontos vizuális analóg skála), és egyetlen kattintással jelzik az általuk jelenlévő rendellenességek helyét.
Az egyes szkenneléshez szükséges idő automatikusan rögzítésre kerül.
|
|
Földi igazmondók
Két tanácsadó neuroradiológus egymástól függetlenül felülvizsgálja a képeket, hogy megállapítsa a referencia standardként használt CT-vizsgálatokon az „alap igazság” megállapításait.
Egyet nem értés esetén egy harmadik vezető neuroradiológus véleményét kérik ki választottbírósági eljárásra.
Minden egyes letapogatáshoz nehézségi pontszámot rendelnek a földi igazságadók egy 5-pontos Likert-skála segítségével.
|
Két tanácsadó neuroradiológus egymástól függetlenül felülvizsgálja a képeket, hogy megállapítsa a referencia standardként használt CT-vizsgálatokon az „alap igazság” megállapításait.
Egyet nem értés esetén egy harmadik vezető neuroradiológus véleményét kérik ki választottbírósági eljárásra.
|
Mit mér a tanulmány?
Elsődleges eredményintézkedések
Eredménymérő |
Intézkedés leírása |
Időkeret |
|---|---|---|
|
Olvasói teljesítmény: Érzékenység, specifikusság, összehasonlítás a mesterséges intelligencia segítségével és anélkül.
Időkeret: 6 hét alatt, ami az esetek/szkennelések elolvasásának vagy áttekintésének időszaka.
|
Az olvasó teljesítményét érzékenységként, specifikusságként értékeljük, mesterséges intelligencia segítségével és anélkül.
|
6 hét alatt, ami az esetek/szkennelések elolvasásának vagy áttekintésének időszaka.
|
|
Olvasói teljesítmény: Pozitív és negatív prediktív érték, összehasonlítás a mesterséges intelligencia segítségével és anélkül.
Időkeret: 6 hét alatt, ami az esetek/szkennelések elolvasásának vagy áttekintésének időszaka.
|
Az olvasó teljesítményét pozitív prediktív értékként (PPV) és negatív prediktív értékként (NPV) értékeljük, mesterséges intelligencia segítségével és anélkül.
|
6 hét alatt, ami az esetek/szkennelések elolvasásának vagy áttekintésének időszaka.
|
|
Olvasó teljesítménye: A vevő működési jelleggörbéje (AUROC) alatti terület, összehasonlítva a mesterséges intelligencia támogatásával és anélkül.
Időkeret: 6 hét alatt, ami az esetek/szkennelések elolvasásának vagy áttekintésének időszaka.
|
Az olvasó teljesítményét a vevő működési jellemzői görbe alatti terület (AUROC) alapján értékeljük, mesterséges intelligencia segítséggel és anélkül.
|
6 hét alatt, ami az esetek/szkennelések elolvasásának vagy áttekintésének időszaka.
|
|
Olvasósebesség: Átlagos idő, ami a szkennelés áttekintéséhez szükséges, mesterséges intelligencia segítséggel vagy anélkül.
Időkeret: 6 hét alatt, ami az esetek/szkennelések elolvasásának vagy áttekintésének időszaka.
|
Az olvasó sebességét a rendszer a beolvasás áttekintéséhez eltöltött időként értékeli, másodpercekben kifejezve.
|
6 hét alatt, ami az esetek/szkennelések elolvasásának vagy áttekintésének időszaka.
|
|
Olvasói bizalom: Önbeszámoló diagnosztikai megbízhatóság egy 10 pontos vizuális analóg skálán, mesterséges intelligencia segítséggel vagy anélkül.
Időkeret: 6 hét alatt, ami az esetek/szkennelések elolvasásának vagy áttekintésének időszaka.
|
Az olvasási platformon (RAIQC) az egyik kérdés azt kérdezi, hogy a résztvevő milyen mértékben bízik meg diagnosztikai véleményében.
A kérdés 1-től 10-ig terjedő skálát kínál, ahol az 1-es nem biztos, a 10-es pedig nagyon magabiztos.
|
6 hét alatt, ami az esetek/szkennelések elolvasásának vagy áttekintésének időszaka.
|
|
qER (AI algoritmus) teljesítménye: Érzékenység és specifitás
Időkeret: 6 hét alatt, ami az esetek/szkennelések elolvasásának vagy áttekintésének időszaka.
|
A qER teljesítményét érzékenységként, specificitásként értékeljük.
|
6 hét alatt, ami az esetek/szkennelések elolvasásának vagy áttekintésének időszaka.
|
|
qER (AI algoritmus) teljesítménye: Pozitív és negatív prediktív érték.
Időkeret: 6 hét alatt, ami az esetek/szkennelések elolvasásának vagy áttekintésének időszaka.
|
A qER teljesítményét pozitív prediktív értékként (PPV) és negatív prediktív értékként (NPV) értékeljük.
|
6 hét alatt, ami az esetek/szkennelések elolvasásának vagy áttekintésének időszaka.
|
|
qER (AI algoritmus) teljesítménye: A vevő működési jelleggörbéje alatti terület (AUROC).
Időkeret: 6 hét alatt, ami az esetek/szkennelések elolvasásának vagy áttekintésének időszaka.
|
A qER teljesítményét a vevőegység működési karakterisztikája (AUROC) alatti területként értékeljük.
|
6 hét alatt, ami az esetek/szkennelések elolvasásának vagy áttekintésének időszaka.
|
Együttműködők és nyomozók
Itt találhatja meg a tanulmányban érintett személyeket és szervezeteket.
Nyomozók
- Kutatásvezető: Alex Novak, MSc, National Health Services in the United Kingdom (NHS UK)
- Kutatásvezető: Sarim Ather, PhD, National Health Services in the United Kingdom (NHS UK)
Publikációk és hasznos linkek
A vizsgálattal kapcsolatos információk beviteléért felelős személy önkéntesen bocsátja rendelkezésre ezeket a kiadványokat. Ezek bármiről szólhatnak, ami a tanulmányhoz kapcsolódik.
Általános kiadványok
- Juszczyk K, Ireland K, Thomas B, Kroon HM, Hollington P. Reduction in hospital admissions with an early computed tomography scan: results of an outpatient management protocol for uncomplicated acute diverticulitis. ANZ J Surg. 2019 Sep;89(9):1085-1090. doi: 10.1111/ans.15285. Epub 2019 Jun 17.
- Chan J, Fan KS, Mak TLA, Loh SY, Ng SWY, Adapala R. Pre-Operative Imaging can Reduce Negative Appendectomy Rate in Acute Appendicitis. Ulster Med J. 2020 Jan;89(1):25-28. Epub 2020 Feb 18.
- Greenhalgh R, Howlett DC, Drinkwater KJ. Royal College of Radiologists national audit evaluating the provision of imaging in the severely injured patient and compliance with national guidelines. Clin Radiol. 2020 Mar;75(3):224-231. doi: 10.1016/j.crad.2019.10.025. Epub 2019 Dec 19.
- Lin E, Yuh EL. Computational Approaches for Acute Traumatic Brain Injury Image Recognition. Front Neurol. 2022 Mar 9;13:791816. doi: 10.3389/fneur.2022.791816. eCollection 2022.
- Sheth SA, Giancardo L, Colasurdo M, Srinivasan VM, Niktabe A, Kan P. Machine learning and acute stroke imaging. J Neurointerv Surg. 2023 Feb;15(2):195-199. doi: 10.1136/neurintsurg-2021-018142. Epub 2022 May 25.
- Yeo M, Tahayori B, Kok HK, Maingard J, Kutaiba N, Russell J, Thijs V, Jhamb A, Chandra RV, Brooks M, Barras CD, Asadi H. Review of deep learning algorithms for the automatic detection of intracranial hemorrhages on computed tomography head imaging. J Neurointerv Surg. 2021 Apr;13(4):369-378. doi: 10.1136/neurintsurg-2020-017099. Epub 2021 Jan 21.
- Chilamkurthy S, Ghosh R, Tanamala S, Biviji M, Campeau NG, Venugopal VK, Mahajan V, Rao P, Warier P. Deep learning algorithms for detection of critical findings in head CT scans: a retrospective study. Lancet. 2018 Dec 1;392(10162):2388-2396. doi: 10.1016/S0140-6736(18)31645-3. Epub 2018 Oct 11.
- Lee JY, Kim JS, Kim TY, Kim YS. Detection and classification of intracranial haemorrhage on CT images using a novel deep-learning algorithm. Sci Rep. 2020 Nov 25;10(1):20546. doi: 10.1038/s41598-020-77441-z.
- Arbabshirani MR, Fornwalt BK, Mongelluzzo GJ, Suever JD, Geise BD, Patel AA, Moore GJ. Advanced machine learning in action: identification of intracranial hemorrhage on computed tomography scans of the head with clinical workflow integration. NPJ Digit Med. 2018 Apr 4;1:9. doi: 10.1038/s41746-017-0015-z. eCollection 2018.
- Davis MA, Rao B, Cedeno PA, Saha A, Zohrabian VM. Machine Learning and Improved Quality Metrics in Acute Intracranial Hemorrhage by Noncontrast Computed Tomography. Curr Probl Diagn Radiol. 2022 Jul-Aug;51(4):556-561. doi: 10.1067/j.cpradiol.2020.10.007. Epub 2020 Nov 15.
- Wardlaw JM, Mair G, von Kummer R, Williams MC, Li W, Storkey AJ, Trucco E, Liebeskind DS, Farrall A, Bath PM, White P. Accuracy of Automated Computer-Aided Diagnosis for Stroke Imaging: A Critical Evaluation of Current Evidence. Stroke. 2022 Jul;53(7):2393-2403. doi: 10.1161/STROKEAHA.121.036204. Epub 2022 Apr 20.
- Finck T, Moosbauer J, Probst M, Schlaeger S, Schuberth M, Schinz D, Yigitsoy M, Byas S, Zimmer C, Pfister F, Wiestler B. Faster and Better: How Anomaly Detection Can Accelerate and Improve Reporting of Head Computed Tomography. Diagnostics (Basel). 2022 Feb 10;12(2):452. doi: 10.3390/diagnostics12020452.
- Warman R, Warman A, Warman P, Degnan A, Blickman J, Chowdhary V, Dash D, Sangal R, Vadhan J, Bueso T, Windisch T, Neves G. Deep Learning System Boosts Radiologist Detection of Intracranial Hemorrhage. Cureus. 2022 Oct 13;14(10):e30264. doi: 10.7759/cureus.30264. eCollection 2022 Oct.
- Dyer T, Chawda S, Alkilani R, Morgan TN, Hughes M, Rasalingham S. Validation of an artificial intelligence solution for acute triage and rule-out normal of non-contrast CT head scans. Neuroradiology. 2022 Apr;64(4):735-743. doi: 10.1007/s00234-021-02826-4. Epub 2021 Oct 8.
- Mallon DH, Taylor EJR, Vittay OI, Sheeka A, Doig D, Lobotesis K. Comparison of automated ASPECTS, large vessel occlusion detection and CTP analysis provided by Brainomix and RapidAI in patients with suspected ischaemic stroke. J Stroke Cerebrovasc Dis. 2022 Oct;31(10):106702. doi: 10.1016/j.jstrokecerebrovasdis.2022.106702. Epub 2022 Aug 19.
- Andralojc LE, Kim DH, Edwards AJ. Diagnostic accuracy of a decision-support software for the detection of intracranial large-vessel occlusion in CT angiography. Clin Radiol. 2023 Apr;78(4):e313-e318. doi: 10.1016/j.crad.2022.10.017. Epub 2023 Jan 11.
- Zech JR, Badgeley MA, Liu M, Costa AB, Titano JJ, Oermann EK. Variable generalization performance of a deep learning model to detect pneumonia in chest radiographs: A cross-sectional study. PLoS Med. 2018 Nov 6;15(11):e1002683. doi: 10.1371/journal.pmed.1002683. eCollection 2018 Nov.
- Huang SC, Pareek A, Jensen M, Lungren MP, Yeung S, Chaudhari AS. Self-supervised learning for medical image classification: a systematic review and implementation guidelines. NPJ Digit Med. 2023 Apr 26;6(1):74. doi: 10.1038/s41746-023-00811-0.
- Hillis SL, Obuchowski NA, Schartz KM, Berbaum KS. A comparison of the Dorfman-Berbaum-Metz and Obuchowski-Rockette methods for receiver operating characteristic (ROC) data. Stat Med. 2005 May 30;24(10):1579-607. doi: 10.1002/sim.2024.
- Obuchowski NA. Sample size tables for receiver operating characteristic studies. AJR Am J Roentgenol. 2000 Sep;175(3):603-8. doi: 10.2214/ajr.175.3.1750603.
- Guo Y, He Y, Lyu J, Zhou Z, Yang D, Ma L, Tan HT, Chen C, Zhang W, Hu J, Han D, Ding G, Liu S, Qiao H, Xu F, Lou X, Dai Q. Deep learning with weak annotation from diagnosis reports for detection of multiple head disorders: a prospective, multicentre study. Lancet Digit Health. 2022 Aug;4(8):e584-e593. doi: 10.1016/S2589-7500(22)00090-5. Epub 2022 Jun 17.
- Fu H, Novak A, Robert D, Kumar S, Tanamala S, Oke J, Bhatia K, Shah R, Romsauerova A, Das T, Espinosa A, Grzeda MT, Narbone M, Dharmadhikari R, Harrison M, Vimalesvaran K, Gooch J, Woznitza N, Salik N, Campbell A, Khan F, Lowe DJ, Shuaib H, Ather S. AI assisted reader evaluation in acute CT head interpretation (AI-REACT): protocol for a multireader multicase study. BMJ Open. 2024 Feb 12;14(2):e079824. doi: 10.1136/bmjopen-2023-079824.
Hasznos linkek
- Richards M. Diagnostics: Recovery and Renewal - Report of the Independent Review of Diagnostic Services for NHS England. NHS England 2022.
- Royal College of Radiologists. Clinical radiology UK workforce census 2019 report. Royal College of Radiologists 2020.
- National Institute for Health and Care Excellence. Artificial intelligence for analysing CT brain scans. 2020.
Tanulmányi rekorddátumok
Ezek a dátumok nyomon követik a ClinicalTrials.gov webhelyre benyújtott vizsgálati rekordok és összefoglaló eredmények benyújtásának folyamatát. A vizsgálati feljegyzéseket és a jelentett eredményeket a Nemzeti Orvostudományi Könyvtár (NLM) felülvizsgálja, hogy megbizonyosodjon arról, hogy megfelelnek-e az adott minőség-ellenőrzési szabványoknak, mielőtt közzéteszik őket a nyilvános weboldalon.
Tanulmány főbb dátumok
Tanulmány kezdete (Tényleges)
2023. június 1.
Elsődleges befejezés (Tényleges)
2023. szeptember 1.
A tanulmány befejezése (Tényleges)
2025. június 1.
Tanulmányi regisztráció dátumai
Először benyújtva
2023. július 25.
Először nyújtották be, amely megfelel a minőségbiztosítási kritériumoknak
2023. augusztus 25.
Első közzététel (Tényleges)
2023. augusztus 30.
Tanulmányi rekordok frissítései
Utolsó frissítés közzétéve (Tényleges)
2025. november 24.
Az utolsó frissítés elküldve, amely megfelel a minőségbiztosítási kritériumoknak
2025. november 19.
Utolsó ellenőrzés
2025. november 1.
Több információ
A tanulmányhoz kapcsolódó kifejezések
További vonatkozó MeSH feltételek
- Cerebrovaszkuláris rendellenességek
- Agyi betegségek
- Központi idegrendszeri betegségek
- Idegrendszeri betegségek
- Érrendszeri betegségek
- Szív-és érrendszeri betegségek
- Sebek és sérülések
- Patológiás folyamatok
- Vérzés
- Agyi infarktus
- Agyi ischaemia
- Infarktus
- Elhalás
- Craniocerebrális trauma
- Trauma, idegrendszer
- Ischaemia
- Stroke
- Kóros állapotok, jelek és tünetek
- Ischaemiás stroke
- Agyi infarktus
- Agyi sérülések
- Agyi ödéma
- Hydrocephalus
- Intrakraniális vérzések
Egyéb vizsgálati azonosító számok
- 310995 - A
Gyógyszer- és eszközinformációk, tanulmányi dokumentumok
Egy amerikai FDA által szabályozott gyógyszerkészítményt tanulmányoz
Nem
Egy amerikai FDA által szabályozott eszközterméket tanulmányoz
Nem
Ezt az információt közvetlenül a clinicaltrials.gov webhelyről szereztük be, változtatás nélkül. Ha bármilyen kérése van vizsgálati adatainak módosítására, eltávolítására vagy frissítésére, kérjük, írjon a következő címre: register@clinicaltrials.gov. Amint a változás bevezetésre kerül a clinicaltrials.gov oldalon, ez a webhelyünkön is automatikusan frissül. .