급성 호흡 부전 진단을 위한 인간 알고리즘 상호 작용
2023년 10월 17일 업데이트: Michael Sjoding, University of Michigan
입원 환자 진단에서 AI의 영향 측정: 무작위 설문조사 비네팅 다기관 연구
인공지능(AI)은 임상 영상의 이상 징후를 식별하는 데 유망한 것으로 나타났습니다. 그러나 모델이 전체 하위 모집단에 대해 부정확한 예측을 하는 체계적으로 편향된 AI 모델은 오류와 잠재적인 피해를 초래할 수 있습니다. AI 모델의 잘못된 예측이 표시되면 임상의의 진단 정확도가 손상될 수 있습니다. 본 연구는 임상의가 AI 모델 예측의 논리를 더 잘 이해할 수 있도록 AI 모델 예측 제공 시 이미지 기반 AI 모델 설명을 임상의에게 제공하는 효과를 연구하는 것을 목표로 합니다. 임상의에게 AI 모델 설명을 제공하면 진단 정확도가 향상되고 모델이 잘못된 결정을 내릴 때 임상의가 파악하는 데 도움이 되는지 평가할 것입니다. 급성 호흡 부전의 근본 원인을 파악하는 것은 치료 결정을 내리는 데 매우 중요하지만 임상적으로 어려울 수 있으므로 테스트 사례로서 이 연구는 급성 호흡 부전 진단에 중점을 둘 것입니다.
AI 설명을 제공하면 임상의 진단 정확도가 향상되고 임상의에게 체계적으로 편향된 AI 모델을 보여주는 잠재적 영향을 완화할 수 있는지 확인하기 위해 무작위 임상 비네팅 설문 조사 연구가 수행됩니다. 설문조사가 진행되는 동안 연구 참여자들은 급성 호흡 부전으로 입원한 환자의 증상, 신체 검사, 실험실 결과, 흉부 엑스레이 등 임상 영상을 보게 됩니다. 연구 참여자들은 심부전, 폐렴 및/또는 만성폐쇄성폐질환(COPD)이 기본 진단일 가능성을 평가하도록 요청받게 됩니다. 설문조사의 특정 장면에서 참가자에게는 심부전, 폐렴 및/또는 COPD가 기본 진단일 가능성을 추정하는 표준 또는 체계적으로 편향된 AI 모델도 표시됩니다. 임상의는 AI 예측만 무작위로 보거나 AI 모델이 표시될 때 설명과 함께 AI 예측을 보게 됩니다. 이 설문 조사 설계를 통해 체계적으로 편향된 모델이 임상의 진단 정확도에 해를 끼칠 수 있지만 일반적으로 사용되는 이미지 기반 설명은 임상의가 부분적으로 성과를 회복하는 데 도움이 될 것이라는 가설을 테스트할 수 있습니다.
연구 개요
상태
완전한
정황
연구 유형
중재적
등록 (실제)
457
단계
- 해당 없음
연락처 및 위치
이 섹션에서는 연구를 수행하는 사람들의 연락처 정보와 이 연구가 수행되는 장소에 대한 정보를 제공합니다.
연구 장소
-
-
Michigan
-
Ann Arbor, Michigan, 미국, 48103
- University of Michigan
-
-
참여기준
연구원은 적격성 기준이라는 특정 설명에 맞는 사람을 찾습니다. 이러한 기준의 몇 가지 예는 개인의 일반적인 건강 상태 또는 이전 치료입니다.
자격 기준
공부할 수 있는 나이
- 성인
- 고령자
건강한 자원 봉사자를 받아들입니다
아니
설명
포함 기준:
- 임상 실습의 일환으로 급성 호흡 부전 환자를 돌보는 의사, 실무 간호사 및 의사 보조원
제외 기준:
- 외래 환자 환경에서만 환자 치료를 제공하는 의사, 전문 간호사 및 의사 보조자
공부 계획
이 섹션에서는 연구 설계 방법과 연구가 측정하는 내용을 포함하여 연구 계획에 대한 세부 정보를 제공합니다.
연구는 어떻게 설계됩니까?
디자인 세부사항
- 주 목적: 다른
- 할당: 무작위
- 중재 모델: 병렬 할당
- 마스킹: 하나의
무기와 개입
참가자 그룹 / 팔 |
개입 / 치료 |
|---|---|
|
실험적: 심부전에 편향된 AI 모델, AI 설명 없음
이 부문의 참가자에게는 설문조사 내 3개의 환자 임상 장면 중 표준 AI 모델 예측과 3개의 임상 장면 중 체계적으로 편향된 AI 모델 예측이 표시됩니다.
체계적으로 편향된 AI 모델 예측이 표시되면 모델은 심부전에 편향되어 체질량지수(BMI)가 30 이상인 환자에게 심부전이 발생할 가능성이 높다고 항상 예측합니다.
다른 2개의 진단에 대해서는 표준 예측이 표시됩니다.
이 부문의 참가자에게는 AI 모델 예측이 표시될 때 AI 설명이 표시되지 않습니다.
|
6개의 임상 장면 동안 참가자는 해당 AI 설명 없이 AI 모델 예측을 볼 수 있습니다.
AI 모델은 각 진단(심부전, 폐렴, COPD)에 대해 0~100점 척도로 점수를 제공하여 각 진단으로 인해 환자의 증상이 나타날 가능성을 추정합니다.
임상 장면 중 3개에서는 참가자에게 표준 AI 모델 예측이 표시되고, 3개 장면에서는 체계적으로 편향된 AI 모델 예측이 표시되며, 모델은 세 가지 진단 중 하나에 대해 구체적으로 편향됩니다.
3개의 임상 장면에서 참가자는 심부전에 대해 특별히 편향된 모델을 사용하여 체계적으로 편향된 AI 모델 예측을 보여주며, 체질량 지수(BMI)가 30 이상인 설문 조사 장면 환자에게 심부전이 존재할 가능성이 높다고 항상 예측합니다.
다른 2가지 진단(폐렴, COPD)에 대한 표준 예측이 표시됩니다.
|
|
실험적: 폐렴에 편향된 AI 모델, AI 설명 없음
이 부문의 참가자에게는 설문조사 내 3개의 환자 임상 장면 중 표준 AI 모델 예측과 3개의 임상 장면 중 체계적으로 편향된 AI 모델 예측이 표시됩니다.
체계적으로 편향된 AI 모델 예측이 표시되면 모델은 폐렴에 편향되어 항상 80세 이상의 환자에게 폐렴이 존재할 가능성이 높다고 예측합니다.
다른 2개의 진단에 대해서는 표준 예측이 표시됩니다.
이 부문의 참가자에게는 AI 모델 예측이 표시될 때 AI 설명이 표시되지 않습니다.
|
6개의 임상 장면 동안 참가자는 해당 AI 설명 없이 AI 모델 예측을 볼 수 있습니다.
AI 모델은 각 진단(심부전, 폐렴, COPD)에 대해 0~100점 척도로 점수를 제공하여 각 진단으로 인해 환자의 증상이 나타날 가능성을 추정합니다.
임상 장면 중 3개에서는 참가자에게 표준 AI 모델 예측이 표시되고, 3개 장면에서는 체계적으로 편향된 AI 모델 예측이 표시되며, 모델은 세 가지 진단 중 하나에 대해 구체적으로 편향됩니다.
3개의 임상 장면에서 참가자는 폐렴에 대해 특별히 편향된 모델을 사용하여 체계적으로 편향된 AI 모델 예측을 보여주며, 항상 80세 이상의 설문 조사 장면 환자에게 폐렴이 존재할 가능성이 높다고 예측합니다.
다른 2가지 진단(심부전, COPD)에 대한 표준 예측이 표시됩니다.
|
|
실험적: COPD에 편향된 AI 모델, AI 설명 없음
이 부문의 참가자에게는 설문조사 내 3개의 환자 임상 장면 중 표준 AI 모델 예측과 3개의 임상 장면 중 체계적으로 편향된 AI 모델 예측이 표시됩니다.
체계적으로 편향된 AI 모델 예측이 표시되면 모델은 COPD에 대해 편향되어 전처리 필터가 환자의 X선에 적용될 때 항상 COPD가 존재할 가능성이 높다고 예측합니다.
다른 2개의 진단에 대해서는 표준 예측이 표시됩니다.
이 부문의 참가자에게는 AI 모델 예측이 표시될 때 AI 설명이 표시되지 않습니다.
|
6개의 임상 장면 동안 참가자는 해당 AI 설명 없이 AI 모델 예측을 볼 수 있습니다.
AI 모델은 각 진단(심부전, 폐렴, COPD)에 대해 0~100점 척도로 점수를 제공하여 각 진단으로 인해 환자의 증상이 나타날 가능성을 추정합니다.
임상 장면 중 3개에서는 참가자에게 표준 AI 모델 예측이 표시되고, 3개 장면에서는 체계적으로 편향된 AI 모델 예측이 표시되며, 모델은 세 가지 진단 중 하나에 대해 구체적으로 편향됩니다.
3개의 임상 장면에서 참가자는 COPD에 대해 특별히 편향된 모델을 사용하여 체계적으로 편향된 AI 모델 예측을 보여주며, 전처리 필터가 환자의 X선에 적용된 설문 조사 장면 환자에게 COPD가 존재할 가능성이 높다고 항상 예측합니다.
다른 2가지 진단(심부전, 폐렴)에 대한 표준 예측이 표시됩니다.
|
|
실험적: 심부전 편향 AI 모델, 이미지 기반 AI 설명 제시
이 부문의 참가자에게는 설문조사 내 3개의 환자 임상 장면 중 표준 AI 모델 예측과 3개의 임상 장면 중 체계적으로 편향된 AI 모델 예측이 표시됩니다.
체계적으로 편향된 AI 모델 예측이 표시되면 모델은 심부전에 편향되어 체질량지수(BMI)가 30 이상인 환자에게 심부전이 발생할 가능성이 높다고 항상 예측합니다.
다른 2개의 진단에 대해서는 표준 예측이 표시됩니다.
이 부문의 참가자에게는 AI 모델 예측이 표시될 때 AI 설명도 표시됩니다.
|
3개의 임상 장면에서 참가자는 심부전에 대해 특별히 편향된 모델을 사용하여 체계적으로 편향된 AI 모델 예측을 보여주며, 체질량 지수(BMI)가 30 이상인 설문 조사 장면 환자에게 심부전이 존재할 가능성이 높다고 항상 예측합니다.
다른 2가지 진단(폐렴, COPD)에 대한 표준 예측이 표시됩니다.
6개의 임상 장면 동안 참가자들은 설명과 함께 AI 모델 예측을 보게 됩니다.
AI 모델은 각 진단에 대해 0~100점 척도로 점수를 제공합니다.
3개의 임상 삽화에서 참가자에게는 표준 AI 모델 예측이 표시되고, 3개의 삽화에는 세 가지 진단 중 하나에 대해 특별히 편향된 모델을 사용하여 체계적으로 편향된 AI 모델 예측이 표시됩니다.
AI 모델이 50점 이상의 점수를 제공하는 경우 AI 모델 설명은 AI 모델 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 흉부 X선에 중첩된 Grad-CAM(그라디언트 가중치 클래스 활성화 매핑) 히트맵으로 표시됩니다.
|
|
실험적: 폐렴에 편향된 AI 모델, 이미지 기반 AI 설명 제시
이 부문의 참가자에게는 설문조사 내 3개의 환자 임상 장면 중 표준 AI 모델 예측과 3개의 임상 장면 중 체계적으로 편향된 AI 모델 예측이 표시됩니다.
체계적으로 편향된 AI 모델 예측이 표시되면 모델은 폐렴에 편향되어 항상 80세 이상의 환자에게 폐렴이 존재할 가능성이 높다고 예측합니다.
다른 2개의 진단에 대해서는 표준 예측이 표시됩니다.
이 부문의 참가자에게는 AI 모델 예측이 표시될 때 AI 설명도 표시됩니다.
|
3개의 임상 장면에서 참가자는 폐렴에 대해 특별히 편향된 모델을 사용하여 체계적으로 편향된 AI 모델 예측을 보여주며, 항상 80세 이상의 설문 조사 장면 환자에게 폐렴이 존재할 가능성이 높다고 예측합니다.
다른 2가지 진단(심부전, COPD)에 대한 표준 예측이 표시됩니다.
6개의 임상 장면 동안 참가자들은 설명과 함께 AI 모델 예측을 보게 됩니다.
AI 모델은 각 진단에 대해 0~100점 척도로 점수를 제공합니다.
3개의 임상 삽화에서 참가자에게는 표준 AI 모델 예측이 표시되고, 3개의 삽화에는 세 가지 진단 중 하나에 대해 특별히 편향된 모델을 사용하여 체계적으로 편향된 AI 모델 예측이 표시됩니다.
AI 모델이 50점 이상의 점수를 제공하는 경우 AI 모델 설명은 AI 모델 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 흉부 X선에 중첩된 Grad-CAM(그라디언트 가중치 클래스 활성화 매핑) 히트맵으로 표시됩니다.
|
|
실험적: COPD에 편향된 AI 모델, 이미지 기반 AI 설명 제시
이 부문의 참가자에게는 설문조사 내 3개의 환자 임상 장면 중 표준 AI 모델 예측과 3개의 임상 장면 중 체계적으로 편향된 AI 모델 예측이 표시됩니다.
체계적으로 편향된 AI 모델 예측이 표시되면 모델은 COPD에 대해 편향되어 전처리 필터가 환자의 X선에 적용될 때 항상 COPD가 존재할 가능성이 높다고 예측합니다.
다른 2개의 진단에 대해서는 표준 예측이 표시됩니다.
이 부문의 참가자에게는 AI 모델 예측이 표시될 때 AI 설명도 표시됩니다.
|
3개의 임상 장면에서 참가자는 COPD에 대해 특별히 편향된 모델을 사용하여 체계적으로 편향된 AI 모델 예측을 보여주며, 전처리 필터가 환자의 X선에 적용된 설문 조사 장면 환자에게 COPD가 존재할 가능성이 높다고 항상 예측합니다.
다른 2가지 진단(심부전, 폐렴)에 대한 표준 예측이 표시됩니다.
6개의 임상 장면 동안 참가자들은 설명과 함께 AI 모델 예측을 보게 됩니다.
AI 모델은 각 진단에 대해 0~100점 척도로 점수를 제공합니다.
3개의 임상 삽화에서 참가자에게는 표준 AI 모델 예측이 표시되고, 3개의 삽화에는 세 가지 진단 중 하나에 대해 특별히 편향된 모델을 사용하여 체계적으로 편향된 AI 모델 예측이 표시됩니다.
AI 모델이 50점 이상의 점수를 제공하는 경우 AI 모델 설명은 AI 모델 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 흉부 X선에 중첩된 Grad-CAM(그라디언트 가중치 클래스 활성화 매핑) 히트맵으로 표시됩니다.
|
연구는 무엇을 측정합니까?
주요 결과 측정
결과 측정 |
측정값 설명 |
기간 |
|---|---|---|
|
임상 비네팅 설정 전반에 걸친 참가자 진단 정확도
기간: 0일차
|
진단 정확도는 전체 진단 평가 횟수 중 올바른 진단 평가 횟수로 정의됩니다.
설문조사 내에서 각 개별 환자의 임상 사례를 검토한 후 참가자는 각 임상 사례에 대해 세 가지 별도의 진단 평가(심부전, 폐렴 및 COPD에 대한 평가 1회)를 수행해야 합니다.
참가자의 평가가 각 삽화의 참조 라벨에 동의하면 진단 평가가 올바른 것으로 간주됩니다.
참가자가 설문조사를 완료하는 동안(0일), 참가자가 임상 비네팅을 검토한 직후 진단 평가가 수행됩니다.
참가자 진단 정확도는 비네팅 설정(AI 없음 모델, 표준 AI 모델, 설명이 있는 표준 AI 모델, 편향된 AI 모델, 설명이 있는 편향된 AI 모델)에 걸쳐 비교됩니다.
|
0일차
|
2차 결과 측정
결과 측정 |
측정값 설명 |
기간 |
|---|---|---|
|
임상 비네팅 설정 전반에 걸친 치료 선택 정확도
기간: 0일차
|
치료 선택 정확도는 참가자가 임상 비네팅에서 환자에게 올바른 치료법을 선택하고 스테로이드, 항생제, 정맥(IV) 이뇨제의 조합을 선택할 수 있는지 또는 환자를 위해 이러한 치료법 중 아무것도 선택할 수 있는지 여부로 정의됩니다.
참가자가 설문조사를 완료하는 동안(0일), 참가자가 임상 비네팅을 검토한 직후에 치료 선택 평가가 수행됩니다.
참가자 치료 선택 정확도는 비네팅 설정(AI 없음 모델, 표준 AI 모델, 설명이 있는 표준 AI 모델, 편향된 AI 모델, 설명이 있는 편향된 AI 모델)에 걸쳐 비교됩니다.
|
0일차
|
|
임상 비네팅 설정 전반에 걸쳐 특정 진단 정확도를 진단합니다.
기간: 0일차
|
비네팅 설정 전반에 걸쳐 심부전, 폐렴, COPD에 대한 진단 정확도
|
0일차
|
공동 작업자 및 조사자
여기에서 이 연구와 관련된 사람과 조직을 찾을 수 있습니다.
수사관
- 수석 연구원: Michael Sjoding, MD, University of Michigan
연구 기록 날짜
이 날짜는 ClinicalTrials.gov에 대한 연구 기록 및 요약 결과 제출의 진행 상황을 추적합니다. 연구 기록 및 보고된 결과는 공개 웹사이트에 게시되기 전에 특정 품질 관리 기준을 충족하는지 확인하기 위해 국립 의학 도서관(NLM)에서 검토합니다.
연구 주요 날짜
연구 시작 (실제)
2022년 4월 1일
기본 완료 (실제)
2023년 1월 31일
연구 완료 (실제)
2023년 1월 31일
연구 등록 날짜
최초 제출
2023년 10월 17일
QC 기준을 충족하는 최초 제출
2023년 10월 17일
처음 게시됨 (실제)
2023년 10월 25일
연구 기록 업데이트
마지막 업데이트 게시됨 (실제)
2023년 10월 25일
QC 기준을 충족하는 마지막 업데이트 제출
2023년 10월 17일
마지막으로 확인됨
2023년 10월 1일
추가 정보
이 연구와 관련된 용어
기타 연구 ID 번호
- HUM00180745
- R01HL158626 (미국 NIH 보조금/계약)
개별 참가자 데이터(IPD) 계획
개별 참가자 데이터(IPD)를 공유할 계획입니까?
예
IPD 계획 설명
데이터는 미시간 대학교와 데이터 사용 계약을 체결한 후 공인 연구 기관의 다른 연구자에게 제공될 수 있습니다.
IPD 공유 기간
연구가 발표되면 데이터는 무기한 공유됩니다.
IPD 공유 액세스 기준
이 정보는 연구 원고와 함께 보충 자료로 출판될 것입니다.
IPD 공유 지원 정보 유형
- 연구_프로토콜
- 수액
약물 및 장치 정보, 연구 문서
미국 FDA 규제 의약품 연구
아니
미국 FDA 규제 기기 제품 연구
아니
이 정보는 변경 없이 clinicaltrials.gov 웹사이트에서 직접 가져온 것입니다. 귀하의 연구 세부 정보를 변경, 제거 또는 업데이트하도록 요청하는 경우 register@clinicaltrials.gov. 문의하십시오. 변경 사항이 clinicaltrials.gov에 구현되는 즉시 저희 웹사이트에도 자동으로 업데이트됩니다. .
급성 호흡 부전에 대한 임상 시험
-
National Medical Research Center for Therapy and...Stupino Clinical Hospital, Moscow Region State Medical Institution완전한