AI-assisteret detektion af røntgenbilleder af thorax (AID-CXR)
Brugen af et AI-baseret CXR-fortolkningsværktøj til at hjælpe sundhedspersonalets diagnostiske nøjagtighed, hastighed og tillid: en undersøgelse, der bruger 500 retrospektivt indsamlede røntgen- og akutmodtagelser fra to britiske hospitalsselskaber
Denne undersøgelse er blevet tilføjet som en delundersøgelse til Simulation Training for Emergency Department Imaging 2-undersøgelsen (ClinicalTrials.gov ID NCT05427838).
Lunit INSIGHT CXR er et valideringsstudie, der har til formål at vurdere nytten af et kunstig intelligens-baseret (AI) thorax røntgen (CXR) fortolkningsværktøj til at assistere den diagnostiske nøjagtighed, hastighed og selvtillid hos en varieret gruppe af sundhedspersonale. Undersøgelsen vil blive udført ved hjælp af 500 retrospektivt indsamlede CXR'er på indlæggelses- og akutafdelinger fra to hospitalsfonde i Storbritannien (UK). To stipendieuddannede thoraxradiologer vil uafhængigt gennemgå alle undersøgelser for at etablere grundsandhedens referencestandard. Lunit INSIGHT CXR-værktøjet vil blive brugt til at analysere hver CXR, og dens ydeevne vil blive målt i forhold til ekspertlæserne. Undersøgelsen vil evaluere anvendeligheden af algoritmen til at forbedre læserens nøjagtighed og tillid målt ved sensitivitet, specificitet, positiv forudsigelsesværdi og negativ prædiktiv værdi. Undersøgelsen vil måle algoritmens ydeevne mod ti unormale fund, herunder pulmonale knuder/masse, konsolidering, pneumothorax, atelektase, forkalkning, kardiomegali, fibrose, mediastinal udvidelse, pleural effusion og pneumoperitoneum. Undersøgelsen vil involvere læsere fra forskellige kliniske faggrupper med og uden assistance fra Lunit INSIGHT CXR. Undersøgelsen vil give dokumentation for virkningen af AI-algoritmer til at hjælpe sundhedspersonale såsom akutmedicin og almen medicin, der regelmæssigt gennemgår billeder i deres daglige praksis.
Studieoversigt
Status
Betingelser
Intervention / Behandling
Undersøgelsestype
Tilmelding (Faktiske)
Kontakter og lokationer
Studiesteder
-
-
Oxfordshire
-
Oxford, Oxfordshire, Det Forenede Kongerige, OX3 9DU
- Oxford University Hospitals NHS Foundation Trust
-
-
Deltagelseskriterier
Berettigelseskriterier
Aldre berettiget til at studere
- Barn
- Voksen
- Ældre voksen
Tager imod sunde frivillige
Prøveudtagningsmetode
Studiebefolkning
Beskrivelse
Inklusionskriterier:
- Generelle radiologer/radiografer/læger, der gennemgår CXR'er som en del af deres rutinemæssige kliniske praksis
Ekskluderingskriterier:
- Thoraxradiologer
- Ikke-radiologiske læger med tidligere formel postgraduat CXR-rapporteringsuddannelse.
- Ikke-radiologiske læger med tidligere karriere inden for radiologi, respiratorisk medicin eller thoraxkirurgi til registrar- eller konsulentniveau
Studieplan
Hvordan er undersøgelsen tilrettelagt?
Design detaljer
Kohorter og interventioner
Gruppe / kohorte |
Intervention / Behandling |
|---|---|
|
Læsere/Deltagere
Læservalg: 30 læsere vil blive udvalgt fra følgende fem kliniske specialitetsgrupper:
Hver specialegruppe består af 6 medlemmer af rangeret anciennitet. For lægerne består dette af:
For radiograferne består dette af:
|
Aflæsningen vil blive foretaget eksternt via webstedet Rapport og billedkvalitetskontrol (www.RAIQC.com), en online platform, der tillader visning og rapportering af medicinsk billeddannelse. Deltagerne kan arbejde fra ethvert sted, men arbejdet skal udføres fra en computer med internetadgang. For at undgå tvivl kan arbejdet ikke udføres fra telefon eller tablet. Projektet er opdelt i to faser, og deltagerne skal gennemføre begge faser. Den estimerede samlede involvering i projektet er op til 20-24 timer. Fase 1: Varighed: 2 uger - Gennemgå 500 røntgenbilleder af thorax og udtryk en klinisk mening gennem en struktureret rapporteringsskabelon (multiple choice, ingen åben tekst påkrævet). Hvile/udvaskningsperiode på 2 uger. Fase 2 - Varighed: 2 uger - Gennemgå 500 røntgenbilleder af thorax sammen med en AI-rapport for hvert tilfælde, og udtryk din kliniske mening gennem den samme strukturerede rapporteringsskabelon, der blev brugt i fase A. |
|
Ground truthers
To rådgivende thoraxradiologer.
En tredje senior thoraxradiologs udtalelse (>20 års erfaring) vil påtage sig voldgift.
|
To konsulterende thoraxradiologer vil uafhængigt gennemgå billederne for at fastslå 'grundsandheden'-fundene på CXR'erne, hvor der opnås enighed, vil dette derefter blive brugt som referencestandard.
I tilfælde af uenighed vil en tredje senior thoraxradiologs udtalelse (>20 års erfaring) påtage sig voldgift.
En sværhedsgrad vil blive tildelt hver abnormitet af jordens truthers ved hjælp af en 4-punkts Likert-skala (1 er let/oplagt, mens 4 er svært/dårligt visualiseret).
|
Hvad måler undersøgelsen?
Primære resultatmål
Resultatmål |
Foranstaltningsbeskrivelse |
Tidsramme |
|---|---|---|
|
Ydeevne af AI-algoritme: følsomhed
Tidsramme: I løbet af 4 ugers læsetid
|
Evaluering af Lunit INSIGHT CXR-algoritmen vil blive udført ved at sammenligne den med referencestandarden for at bestemme følsomheden.
|
I løbet af 4 ugers læsetid
|
|
Ydeevne af AI-algoritme: specificitet
Tidsramme: I løbet af 4 ugers læsetid
|
Evaluering af Lunit INSIGHT CXR-algoritmen vil blive udført ved at sammenligne den med referencestandarden for at bestemme specificitet.
|
I løbet af 4 ugers læsetid
|
|
Ydeevne af AI-algoritme: Area under the ROC Curve (AU ROC)
Tidsramme: I løbet af 4 ugers læsetid
|
Evaluering af Lunit INSIGHT CXR-algoritmen vil blive udført ved at sammenligne den med referencestandarden.
Kontinuerlig sandsynlighedsscore fra algoritmen vil blive brugt til ROC-analyserne, mens binære klassifikationsresultater med et foruddefineret drifts-cut-off vil blive brugt til evaluering af sensitivitet, specificitet, positiv prædiktiv værdi og negativ prædiktiv værdi.
|
I løbet af 4 ugers læsetid
|
|
Præstation af læsere med og uden AI-assistance: Følsomhed
Tidsramme: I løbet af 4 ugers læsetid
|
Undersøgelsen vil omfatte to sessioner (med og uden AI-overlay), hvor alle 30 læsere gennemgår alle 500 CXR-tilfælde hver gang adskilt af en udvaskningsperiode for at mindske tilbagekaldelsesbias.
Casene vil blive randomiseret mellem de to læsninger og for hver læser.
|
I løbet af 4 ugers læsetid
|
|
Præstation af læsere med og uden AI-assistance: Specificitet
Tidsramme: I løbet af 4 ugers læsetid
|
Undersøgelsen vil omfatte to sessioner (med og uden AI-overlay), hvor alle 30 læsere gennemgår alle 500 CXR-tilfælde hver gang adskilt af en udvaskningsperiode for at mindske tilbagekaldelsesbias.
Casene vil blive randomiseret mellem de to læsninger og for hver læser.
|
I løbet af 4 ugers læsetid
|
|
Ydeevne for læsere med og uden AI-assistance: Area under the ROC Curve (AU ROC)
Tidsramme: I løbet af 4 ugers læsetid
|
Undersøgelsen vil omfatte to sessioner (med og uden AI-overlay), hvor alle 30 læsere gennemgår alle 500 CXR-tilfælde hver gang adskilt af en udvaskningsperiode for at mindske tilbagekaldelsesbias.
Casene vil blive randomiseret mellem de to læsninger og for hver læser.
|
I løbet af 4 ugers læsetid
|
|
Læserhastighed med vs uden AI-assistance.
Tidsramme: I løbet af 4 ugers læsetid
|
Gennemsnitlig tid det tager at gennemgå en scanning med kontra uden AI-hjælp.
|
I løbet af 4 ugers læsetid
|
Samarbejdspartnere og efterforskere
Publikationer og nyttige links
Generelle publikationer
- Greenhalgh R, Howlett DC, Drinkwater KJ. Royal College of Radiologists national audit evaluating the provision of imaging in the severely injured patient and compliance with national guidelines. Clin Radiol. 2020 Mar;75(3):224-231. doi: 10.1016/j.crad.2019.10.025. Epub 2019 Dec 19.
- Zech JR, Badgeley MA, Liu M, Costa AB, Titano JJ, Oermann EK. Variable generalization performance of a deep learning model to detect pneumonia in chest radiographs: A cross-sectional study. PLoS Med. 2018 Nov 6;15(11):e1002683. doi: 10.1371/journal.pmed.1002683. eCollection 2018 Nov.
- Spiritoso R, Padley S, Singh S. Chest X-ray interpretation in UK intensive care units: A survey 2014. J Intensive Care Soc. 2015 Nov;16(4):339-344. doi: 10.1177/1751143715580141. Epub 2015 May 18.
- Wilson C. X-ray misinterpretation in urgent care: where does it occur, why does it occur, and does it matter? N Z Med J. 2022 Apr 1;135:49-65.
- Jones CM, Buchlak QD, Oakden-Rayner L, Milne M, Seah J, Esmaili N, Hachey B. Chest radiographs and machine learning - Past, present and future. J Med Imaging Radiat Oncol. 2021 Aug;65(5):538-544. doi: 10.1111/1754-9485.13274. Epub 2021 Jun 25.
- Ahmad HK, Milne MR, Buchlak QD, Ektas N, Sanderson G, Chamtie H, Karunasena S, Chiang J, Holt X, Tang CHM, Seah JCY, Bottrell G, Esmaili N, Brotchie P, Jones C. Machine Learning Augmented Interpretation of Chest X-rays: A Systematic Review. Diagnostics (Basel). 2023 Feb 15;13(4):743. doi: 10.3390/diagnostics13040743.
- van Beek EJR, Ahn JS, Kim MJ, Murchison JT. Validation study of machine-learning chest radiograph software in primary and emergency medicine. Clin Radiol. 2023 Jan;78(1):1-7. doi: 10.1016/j.crad.2022.08.129. Epub 2022 Sep 25.
- Kundu R, Das R, Geem ZW, Han GT, Sarkar R. Pneumonia detection in chest X-ray images using an ensemble of deep learning models. PLoS One. 2021 Sep 7;16(9):e0256630. doi: 10.1371/journal.pone.0256630. eCollection 2021.
- Hillis JM, Bizzo BC, Mercaldo S, Chin JK, Newbury-Chaet I, Digumarthy SR, Gilman MD, Muse VV, Bottrell G, Seah JCY, Jones CM, Kalra MK, Dreyer KJ. Evaluation of an Artificial Intelligence Model for Detection of Pneumothorax and Tension Pneumothorax in Chest Radiographs. JAMA Netw Open. 2022 Dec 1;5(12):e2247172. doi: 10.1001/jamanetworkopen.2022.47172.
- Homayounieh F, Digumarthy S, Ebrahimian S, Rueckel J, Hoppe BF, Sabel BO, Conjeti S, Ridder K, Sistermanns M, Wang L, Preuhs A, Ghesu F, Mansoor A, Moghbel M, Botwin A, Singh R, Cartmell S, Patti J, Huemmer C, Fieselmann A, Joerger C, Mirshahzadeh N, Muse V, Kalra M. An Artificial Intelligence-Based Chest X-ray Model on Human Nodule Detection Accuracy From a Multicenter Study. JAMA Netw Open. 2021 Dec 1;4(12):e2141096. doi: 10.1001/jamanetworkopen.2021.41096.
- Wu JT, Wong KCL, Gur Y, Ansari N, Karargyris A, Sharma A, Morris M, Saboury B, Ahmad H, Boyko O, Syed A, Jadhav A, Wang H, Pillai A, Kashyap S, Moradi M, Syeda-Mahmood T. Comparison of Chest Radiograph Interpretations by Artificial Intelligence Algorithm vs Radiology Residents. JAMA Netw Open. 2020 Oct 1;3(10):e2022779. doi: 10.1001/jamanetworkopen.2020.22779.
- Matsumoto T, Kodera S, Shinohara H, Ieki H, Yamaguchi T, Higashikuni Y, Kiyosue A, Ito K, Ando J, Takimoto E, Akazawa H, Morita H, Komuro I. Diagnosing Heart Failure from Chest X-Ray Images Using Deep Learning. Int Heart J. 2020 Jul 30;61(4):781-786. doi: 10.1536/ihj.19-714. Epub 2020 Jul 18.
Hjælpsomme links
- Richards M. Diagnostics: Recovery and Renewal - Report of the Independent Review of Diagnostic Services for NHS England. NHS England 2022.
- Royal College of Radiologists. Clinical radiology UK workforce census 2019 report. Royal College of Radiologists 2020.
- www.nice.org.uk. (2022). Summary | Artificial intelligence for analysing chest X-ray images | Advice | NICE. [online] Available at:
Datoer for undersøgelser
Studer store datoer
Studiestart (Faktiske)
Primær færdiggørelse (Faktiske)
Studieafslutning (Faktiske)
Datoer for studieregistrering
Først indsendt
Først indsendt, der opfyldte QC-kriterier
Først opslået (Faktiske)
Opdateringer af undersøgelsesjournaler
Sidste opdatering sendt (Faktiske)
Sidste opdatering indsendt, der opfyldte kvalitetskontrolkriterier
Sidst verificeret
Mere information
Begreber relateret til denne undersøgelse
Yderligere relevante MeSH-vilkår
- Organisering af lungebetændelse
- Hjerte-kar-sygdomme
- Patologiske processer
- Neoplasmer efter sted
- Neoplasmer
- Patologiske Tilstande, Anatomiske
- Hjertesygdomme
- Sygdomme i immunsystemet
- Luftvejssygdomme
- Sygdomme i fordøjelsessystemet
- Lungesygdomme
- Bronchiale sygdomme
- Lungesygdomme, obstruktiv
- Neoplasmer i luftvejene
- Thoracale neoplasmer
- Lungeneoplasmer
- Lungesygdomme, interstitielle
- Peritoneale sygdomme
- Fibrose
- Bronchiolitis Obliterans
- Bronchiolitis
- Bronkitis
- Pleurale sygdomme
- Hypertrofi
- Graft vs værtssygdom
- Patologiske tilstande, tegn og symptomer
- Bronchiolitis Obliterans syndrom
- Lungefibrose
- Pneumoperitoneum
- Pulmonal atelektase
- Pleural effusion
- Flere lungeknuder
- Pneumothorax
- Kardiomegali
- Solitær lungeknude
Andre undersøgelses-id-numre
- 310995 - B
Lægemiddel- og udstyrsoplysninger, undersøgelsesdokumenter
Studerer et amerikansk FDA-reguleret lægemiddelprodukt
Studerer et amerikansk FDA-reguleret enhedsprodukt
produkt fremstillet i og eksporteret fra U.S.A.
Disse oplysninger blev hentet direkte fra webstedet clinicaltrials.gov uden ændringer. Hvis du har nogen anmodninger om at ændre, fjerne eller opdatere dine undersøgelsesoplysninger, bedes du kontakte register@clinicaltrials.gov. Så snart en ændring er implementeret på clinicaltrials.gov, vil denne også blive opdateret automatisk på vores hjemmeside .