- ICH GCP
- 미국 임상 시험 레지스트리
- 임상시험 NCT06018545
급성 컴퓨터 단층촬영(CT) 머리 해석에서 AI 보조 판독기 평가 (AI-REACT)
2025년 11월 19일 업데이트: Alex Novak, Oxford University Hospitals NHS Trust
급성 CT 머리 해석에서 AI 보조 판독기 평가
이 연구는 응급실 영상 시뮬레이션 훈련 2 연구(ClinicalTrials.gov)의 하위 연구로 추가되었습니다. ID NCT05427838).
이 연구의 목적은 qER 2.0 EU라는 인공 지능(AI) 도구가 비조영 CT 머리 스캔 해석 시 일반 방사선사, 응급의학 임상의, 방사선사를 포함한 독자의 성능에 미치는 영향을 평가하는 것입니다. 본 연구에서는 AI 도구를 사용할 때 정확도, 검토 시간, 진단 신뢰도의 변화를 평가하는 것을 목표로 합니다. 또한 AI 도구의 진단 성능과 NHS(National Health Service)의 맥락에서 효율성과 환자 치료를 향상시킬 수 있는 잠재력에 대한 증거를 제공하려고 합니다. 이 연구에서는 대조 사례와 특정 이상이 있는 비정상 사례를 모두 포함하여 150개의 CT 머리 스캔 데이터 세트를 사용합니다. 이 연구의 결과는 실제 응급실(ED) 환경에서 더 큰 규모의 후속 연구를 알려줄 것입니다.
연구 개요
연구 유형
관찰
등록 (실제)
33
연락처 및 위치
이 섹션에서는 연구를 수행하는 사람들의 연락처 정보와 이 연구가 수행되는 장소에 대한 정보를 제공합니다.
연구 장소
-
-
-
Glasgow, 영국, G12 0XH
- NHS Greater Glasgow and Clyde
-
Newcastle upon Tyne, 영국, NE27 0QJ
- Northumbria Healthcare NHS Foundation Trust
-
-
London
-
London, London, 영국, SE1 7EH
- Guy's & St Thomas NHS Foundation Trust
-
-
Oxfordshire
-
Oxford, Oxfordshire, 영국, OX3 9DU
- Oxford University Hospitals NHS Foundation Trust
-
-
참여기준
연구원은 적격성 기준이라는 특정 설명에 맞는 사람을 찾습니다. 이러한 기준의 몇 가지 예는 개인의 일반적인 건강 상태 또는 이전 치료입니다.
자격 기준
공부할 수 있는 나이
- 어린이
- 성인
- 고령자
건강한 자원 봉사자를 받아들입니다
예
샘플링 방법
비확률 샘플
연구 인구
환경:
독자는 다음 4개 병원 신탁(2차 및 3차 수준:
- Guy's & St Thomas NHS 재단 신탁
- 노섬브리아 헬스케어 NHS 재단 신탁
- NHS 그레이터 글래스고 앤 클라이드
- 옥스포드 대학 병원 NHS 재단 신탁
참가자들:
30명의 자원봉사자 참여 독자는 다음 그룹에서 선정됩니다.
- 응급의학 컨설턴트 및 등록원(컨설턴트 5명, 등록원 5명(ST3-6), 후배 5명(F1-ST2)
- 일반 방사선 전문의 컨설턴트 및 등록자(컨설턴트 5명, 등록자 5명)
- CT 방사선사 5명
설명
포함 기준:
- 임상 실습의 일환으로 CT 머리 스캔을 검토하는 방사선사/방사선사/ED 임상의
제외 기준:
- 신경 방사선 전문의.
- 비방사선 전문의 그룹: 이전에 공식 대학원 CT 보고 교육을 받은 임상의
- 응급의학 그룹: 이전에 방사선학/신경외과 분야에서 등록자 수준까지 경력을 쌓은 임상의
공부 계획
이 섹션에서는 연구 설계 방법과 연구가 측정하는 내용을 포함하여 연구 계획에 대한 세부 정보를 제공합니다.
연구는 어떻게 설계됩니까?
디자인 세부사항
코호트 및 개입
그룹/코호트 |
개입 / 치료 |
|---|---|
|
독자
10명의 일반 방사선 전문의, 15명의 응급의학 임상의, 5명의 다양한 직위의 CT 방사선사를 포함하여 4개의 NHS 재단에서 30명의 독자를 모집할 것입니다.
독자는 먼저 AI 도구의 도움 없이 각 스캔을 해석한 다음 4주간의 휴약 기간을 거쳐 AI 도구의 도움을 받게 됩니다.
신경방사선 전문의 패널을 근거 자료로 사용하여 qER의 독립 실행형 성능을 평가하고, 독자의 성능에 미치는 영향을 정확도 변화, 스캔당 평균 검토 시간 및 자가 보고 진단 신뢰도로 분석합니다.
하위 그룹 분석은 독자 전문가 그룹, 독자 연공서열, 병리학적 소견 및 신경방사선 전문의가 평가한 난이도별로 수행됩니다.
|
30명의 독자 모두가 두 가지 연구 단계에서 각각 150개의 사례를 모두 검토하게 됩니다.
독자들은 두개내 출혈, 경색, 정중선 이동 및 골절을 포함한 일부 급성 이상의 유무에 대한 의견을 제공할 것입니다.
진단에 대한 확신을 제공하고(10점 시각적 아날로그 척도), 한 번의 클릭으로 존재하는 것으로 간주되는 각 이상의 위치를 표시할 수 있습니다.
각 스캔에 소요된 시간이 자동으로 기록됩니다.
|
|
지상 진실
두 명의 컨설턴트 신경방사선 전문의가 이미지를 독립적으로 검토하여 참조 표준으로 사용될 CT 스캔에 대한 '실측 진실' 결과를 확립합니다.
의견이 일치하지 않는 경우 세 번째 선임 신경방사선 전문의의 의견을 중재로 구하게 됩니다.
5점 리커트 척도를 사용하여 실측 담당자가 각 스캔에 난이도 점수를 할당합니다.
|
두 명의 컨설턴트 신경방사선 전문의가 이미지를 독립적으로 검토하여 참조 표준으로 사용될 CT 스캔에 대한 '실측 진실' 결과를 확립합니다.
의견이 일치하지 않는 경우 세 번째 선임 신경방사선 전문의의 의견을 중재로 구하게 됩니다.
|
연구는 무엇을 측정합니까?
주요 결과 측정
결과 측정 |
측정값 설명 |
기간 |
|---|---|---|
|
독자 성능: AI 지원 유무에 따른 민감도, 특이성, 비교.
기간: 6주 동안 케이스/스캔을 읽거나 검토하는 기간입니다.
|
독자의 성과는 AI 지원 유무에 관계없이 민감도, 특이도에 따라 평가됩니다.
|
6주 동안 케이스/스캔을 읽거나 검토하는 기간입니다.
|
|
독자 성능: 긍정적 및 부정적 예측 값, AI 지원 여부 비교.
기간: 6주 동안 케이스/스캔을 읽거나 검토하는 기간입니다.
|
독자의 성과는 AI 지원 유무에 관계없이 PPV(긍정적 예측 가치) 및 NPV(부정 예측 가치)로 평가됩니다.
|
6주 동안 케이스/스캔을 읽거나 검토하는 기간입니다.
|
|
리더 성능: AUROC(수신기 작동 특성 곡선 아래 영역), AI 지원 여부 비교.
기간: 6주 동안 케이스/스캔을 읽거나 검토하는 기간입니다.
|
리더 성능은 AI 지원 유무에 관계없이 AUROC(수신기 작동 특성 곡선 아래 영역)으로 평가됩니다.
|
6주 동안 케이스/스캔을 읽거나 검토하는 기간입니다.
|
|
판독기 속도: AI 지원이 있을 때와 없을 때 스캔을 검토하는 데 걸리는 평균 시간입니다.
기간: 6주 동안 케이스/스캔을 읽거나 검토하는 기간입니다.
|
판독기 속도는 초 단위의 시간을 사용하여 스캔을 검토하는 데 걸린 시간으로 평가됩니다.
|
6주 동안 케이스/스캔을 읽거나 검토하는 기간입니다.
|
|
독자 신뢰도: AI 지원 유무에 따른 10점 시각적 아날로그 척도로 자가 보고된 진단 신뢰도입니다.
기간: 6주 동안 케이스/스캔을 읽거나 검토하는 기간입니다.
|
읽기 플랫폼(RAIQC)에서 질문 중 하나는 참가자가 자신의 진단 의견에 대해 가지고 있는 자신감 수준을 묻습니다.
질문은 1부터 10까지의 척도를 제공하며, 1은 자신감이 없음, 10은 매우 자신감이 있음을 의미합니다.
|
6주 동안 케이스/스캔을 읽거나 검토하는 기간입니다.
|
|
qER(AI 알고리즘) 성능: 민감도와 특이도
기간: 6주 동안 케이스/스캔을 읽거나 검토하는 기간입니다.
|
qER 성능은 민감도, 특이도로 평가됩니다.
|
6주 동안 케이스/스캔을 읽거나 검토하는 기간입니다.
|
|
qER(AI 알고리즘) 성능: 긍정적 및 부정적 예측 값.
기간: 6주 동안 케이스/스캔을 읽거나 검토하는 기간입니다.
|
qER 성능은 양성 예측 값(PPV)과 음성 예측 값(NPV)으로 평가됩니다.
|
6주 동안 케이스/스캔을 읽거나 검토하는 기간입니다.
|
|
qER(AI 알고리즘) 성능: AUROC(수신기 작동 특성 곡선 아래 영역).
기간: 6주 동안 케이스/스캔을 읽거나 검토하는 기간입니다.
|
qER 성능은 AUROC(수신기 작동 특성 곡선 아래 면적)으로 평가됩니다.
|
6주 동안 케이스/스캔을 읽거나 검토하는 기간입니다.
|
공동 작업자 및 조사자
여기에서 이 연구와 관련된 사람과 조직을 찾을 수 있습니다.
수사관
- 수석 연구원: Alex Novak, MSc, National Health Services in the United Kingdom (NHS UK)
- 수석 연구원: Sarim Ather, PhD, National Health Services in the United Kingdom (NHS UK)
간행물 및 유용한 링크
연구에 대한 정보 입력을 담당하는 사람이 자발적으로 이러한 간행물을 제공합니다. 이것은 연구와 관련된 모든 것에 관한 것일 수 있습니다.
일반 간행물
- Juszczyk K, Ireland K, Thomas B, Kroon HM, Hollington P. Reduction in hospital admissions with an early computed tomography scan: results of an outpatient management protocol for uncomplicated acute diverticulitis. ANZ J Surg. 2019 Sep;89(9):1085-1090. doi: 10.1111/ans.15285. Epub 2019 Jun 17.
- Chan J, Fan KS, Mak TLA, Loh SY, Ng SWY, Adapala R. Pre-Operative Imaging can Reduce Negative Appendectomy Rate in Acute Appendicitis. Ulster Med J. 2020 Jan;89(1):25-28. Epub 2020 Feb 18.
- Greenhalgh R, Howlett DC, Drinkwater KJ. Royal College of Radiologists national audit evaluating the provision of imaging in the severely injured patient and compliance with national guidelines. Clin Radiol. 2020 Mar;75(3):224-231. doi: 10.1016/j.crad.2019.10.025. Epub 2019 Dec 19.
- Lin E, Yuh EL. Computational Approaches for Acute Traumatic Brain Injury Image Recognition. Front Neurol. 2022 Mar 9;13:791816. doi: 10.3389/fneur.2022.791816. eCollection 2022.
- Sheth SA, Giancardo L, Colasurdo M, Srinivasan VM, Niktabe A, Kan P. Machine learning and acute stroke imaging. J Neurointerv Surg. 2023 Feb;15(2):195-199. doi: 10.1136/neurintsurg-2021-018142. Epub 2022 May 25.
- Yeo M, Tahayori B, Kok HK, Maingard J, Kutaiba N, Russell J, Thijs V, Jhamb A, Chandra RV, Brooks M, Barras CD, Asadi H. Review of deep learning algorithms for the automatic detection of intracranial hemorrhages on computed tomography head imaging. J Neurointerv Surg. 2021 Apr;13(4):369-378. doi: 10.1136/neurintsurg-2020-017099. Epub 2021 Jan 21.
- Chilamkurthy S, Ghosh R, Tanamala S, Biviji M, Campeau NG, Venugopal VK, Mahajan V, Rao P, Warier P. Deep learning algorithms for detection of critical findings in head CT scans: a retrospective study. Lancet. 2018 Dec 1;392(10162):2388-2396. doi: 10.1016/S0140-6736(18)31645-3. Epub 2018 Oct 11.
- Lee JY, Kim JS, Kim TY, Kim YS. Detection and classification of intracranial haemorrhage on CT images using a novel deep-learning algorithm. Sci Rep. 2020 Nov 25;10(1):20546. doi: 10.1038/s41598-020-77441-z.
- Arbabshirani MR, Fornwalt BK, Mongelluzzo GJ, Suever JD, Geise BD, Patel AA, Moore GJ. Advanced machine learning in action: identification of intracranial hemorrhage on computed tomography scans of the head with clinical workflow integration. NPJ Digit Med. 2018 Apr 4;1:9. doi: 10.1038/s41746-017-0015-z. eCollection 2018.
- Davis MA, Rao B, Cedeno PA, Saha A, Zohrabian VM. Machine Learning and Improved Quality Metrics in Acute Intracranial Hemorrhage by Noncontrast Computed Tomography. Curr Probl Diagn Radiol. 2022 Jul-Aug;51(4):556-561. doi: 10.1067/j.cpradiol.2020.10.007. Epub 2020 Nov 15.
- Wardlaw JM, Mair G, von Kummer R, Williams MC, Li W, Storkey AJ, Trucco E, Liebeskind DS, Farrall A, Bath PM, White P. Accuracy of Automated Computer-Aided Diagnosis for Stroke Imaging: A Critical Evaluation of Current Evidence. Stroke. 2022 Jul;53(7):2393-2403. doi: 10.1161/STROKEAHA.121.036204. Epub 2022 Apr 20.
- Finck T, Moosbauer J, Probst M, Schlaeger S, Schuberth M, Schinz D, Yigitsoy M, Byas S, Zimmer C, Pfister F, Wiestler B. Faster and Better: How Anomaly Detection Can Accelerate and Improve Reporting of Head Computed Tomography. Diagnostics (Basel). 2022 Feb 10;12(2):452. doi: 10.3390/diagnostics12020452.
- Warman R, Warman A, Warman P, Degnan A, Blickman J, Chowdhary V, Dash D, Sangal R, Vadhan J, Bueso T, Windisch T, Neves G. Deep Learning System Boosts Radiologist Detection of Intracranial Hemorrhage. Cureus. 2022 Oct 13;14(10):e30264. doi: 10.7759/cureus.30264. eCollection 2022 Oct.
- Dyer T, Chawda S, Alkilani R, Morgan TN, Hughes M, Rasalingham S. Validation of an artificial intelligence solution for acute triage and rule-out normal of non-contrast CT head scans. Neuroradiology. 2022 Apr;64(4):735-743. doi: 10.1007/s00234-021-02826-4. Epub 2021 Oct 8.
- Mallon DH, Taylor EJR, Vittay OI, Sheeka A, Doig D, Lobotesis K. Comparison of automated ASPECTS, large vessel occlusion detection and CTP analysis provided by Brainomix and RapidAI in patients with suspected ischaemic stroke. J Stroke Cerebrovasc Dis. 2022 Oct;31(10):106702. doi: 10.1016/j.jstrokecerebrovasdis.2022.106702. Epub 2022 Aug 19.
- Andralojc LE, Kim DH, Edwards AJ. Diagnostic accuracy of a decision-support software for the detection of intracranial large-vessel occlusion in CT angiography. Clin Radiol. 2023 Apr;78(4):e313-e318. doi: 10.1016/j.crad.2022.10.017. Epub 2023 Jan 11.
- Zech JR, Badgeley MA, Liu M, Costa AB, Titano JJ, Oermann EK. Variable generalization performance of a deep learning model to detect pneumonia in chest radiographs: A cross-sectional study. PLoS Med. 2018 Nov 6;15(11):e1002683. doi: 10.1371/journal.pmed.1002683. eCollection 2018 Nov.
- Huang SC, Pareek A, Jensen M, Lungren MP, Yeung S, Chaudhari AS. Self-supervised learning for medical image classification: a systematic review and implementation guidelines. NPJ Digit Med. 2023 Apr 26;6(1):74. doi: 10.1038/s41746-023-00811-0.
- Hillis SL, Obuchowski NA, Schartz KM, Berbaum KS. A comparison of the Dorfman-Berbaum-Metz and Obuchowski-Rockette methods for receiver operating characteristic (ROC) data. Stat Med. 2005 May 30;24(10):1579-607. doi: 10.1002/sim.2024.
- Obuchowski NA. Sample size tables for receiver operating characteristic studies. AJR Am J Roentgenol. 2000 Sep;175(3):603-8. doi: 10.2214/ajr.175.3.1750603.
- Guo Y, He Y, Lyu J, Zhou Z, Yang D, Ma L, Tan HT, Chen C, Zhang W, Hu J, Han D, Ding G, Liu S, Qiao H, Xu F, Lou X, Dai Q. Deep learning with weak annotation from diagnosis reports for detection of multiple head disorders: a prospective, multicentre study. Lancet Digit Health. 2022 Aug;4(8):e584-e593. doi: 10.1016/S2589-7500(22)00090-5. Epub 2022 Jun 17.
- Fu H, Novak A, Robert D, Kumar S, Tanamala S, Oke J, Bhatia K, Shah R, Romsauerova A, Das T, Espinosa A, Grzeda MT, Narbone M, Dharmadhikari R, Harrison M, Vimalesvaran K, Gooch J, Woznitza N, Salik N, Campbell A, Khan F, Lowe DJ, Shuaib H, Ather S. AI assisted reader evaluation in acute CT head interpretation (AI-REACT): protocol for a multireader multicase study. BMJ Open. 2024 Feb 12;14(2):e079824. doi: 10.1136/bmjopen-2023-079824.
유용한 링크
- Richards M. Diagnostics: Recovery and Renewal - Report of the Independent Review of Diagnostic Services for NHS England. NHS England 2022.
- Royal College of Radiologists. Clinical radiology UK workforce census 2019 report. Royal College of Radiologists 2020.
- National Institute for Health and Care Excellence. Artificial intelligence for analysing CT brain scans. 2020.
연구 기록 날짜
이 날짜는 ClinicalTrials.gov에 대한 연구 기록 및 요약 결과 제출의 진행 상황을 추적합니다. 연구 기록 및 보고된 결과는 공개 웹사이트에 게시되기 전에 특정 품질 관리 기준을 충족하는지 확인하기 위해 국립 의학 도서관(NLM)에서 검토합니다.
연구 주요 날짜
연구 시작 (실제)
2023년 6월 1일
기본 완료 (실제)
2023년 9월 1일
연구 완료 (실제)
2025년 6월 1일
연구 등록 날짜
최초 제출
2023년 7월 25일
QC 기준을 충족하는 최초 제출
2023년 8월 25일
처음 게시됨 (실제)
2023년 8월 30일
연구 기록 업데이트
마지막 업데이트 게시됨 (실제)
2025년 11월 24일
QC 기준을 충족하는 마지막 업데이트 제출
2025년 11월 19일
마지막으로 확인됨
2025년 11월 1일
추가 정보
이 정보는 변경 없이 clinicaltrials.gov 웹사이트에서 직접 가져온 것입니다. 귀하의 연구 세부 정보를 변경, 제거 또는 업데이트하도록 요청하는 경우 register@clinicaltrials.gov. 문의하십시오. 변경 사항이 clinicaltrials.gov에 구현되는 즉시 저희 웹사이트에도 자동으로 업데이트됩니다. .
독서에 대한 임상 시험
-
Children's Hospital Medical Center, Cincinnati완전한
-
University of Massachusetts, WorcesterBoston University; University of Colorado, Denver; Eunice Kennedy Shriver National Institute... 그리고 다른 협력자들아직 모집하지 않음
-
H. Lee Moffitt Cancer Center and Research InstituteKite, A Gilead Company완전한