인공지능 의료 인터뷰에서 원샷 비전 차등 진단(OSVDE) 및 다단계 대화형 비열등성(MSCNE)의 평가. (OSVDE-MSCNE)
AI 의료 인터뷰 및 진단 시스템 성능 평가: 원샷 비전 감별진단(OSVDE) 및 다단계 대화형 비열등성(MSCNE) 평가.
본 연구에서는 익명화된 의료 영상과 반합성 환자 시뮬레이션을 활용하여 다중모드 인공지능(AI) 시스템(AIMD.1)의 진단 성능을 평가합니다. 이 연구는 기존 공개된 영상 데이터 세트에 대한 후향적 분석과 진단 평가 과제를 수행하는 전문의 자격증을 보유한 임상의로부터의 전향적 데이터 수집을 결합합니다.
One-Shot Vision Differential Evaluation(OSVDE) 단계에서는 임상의들이 개별 익명화된 의료 영상을 검토하고 시각적 특징만을 기반으로 잠재적 진단 목록을 순위별로 생성합니다. Multi-Step Conversational Non-Inferiority Evaluation(MSCNE) 단계에서는 임상의들이 익명화된 의료 영상에서 파생된 반합성 환자 시뮬레이션을 사용하여 진단 평가를 완료합니다. 동일한 진단 과제에서 임상의의 성능을 AI 시스템과 비교합니다.
인간 참여자는 진단 응답을 제공하는 전문의 자격증을 보유한 임상의로만 구성됩니다. 의료 영상과 시뮬레이션 사례는 연구 자료이며 연구 참여자로 간주되지 않습니다. 식별 가능한 환자 데이터는 사용되지 않으며, AI 시스템은 오프라인 연구 환경에서 평가되어 임상적 의사결정이나 환자 치료에 사용되지 않습니다.
연구 개요
상세 설명
인공 지능(AI) 시스템은 의학적 진단에서 유망한 능력을 보여주고 있지만, 임상적 배치 전에 엄격한 벤치마크 평가가 필요합니다. AIMD.1은 의료 이미지 분석과 대화형 진단 상호작용을 통해 임상적 추론을 지원하도록 설계된 멀티모달 AI 진단 시스템입니다.
이 연구는 회고적 이미지 데이터셋과 전향적 임상의 평가 과제의 조합을 사용하여 AIMD.1의 진단 성능을 평가합니다. 목표는 통제된 벤치마크 조건에서 AI 시스템이 전문의 자격증을 가진 임상의와 비교할 수 있는 진단 정확도를 달성하는지 여부를 결정하는 것입니다.
평가는 두 가지 보완적인 단계를 포함합니다.
원샷 비전 차등 평가 (OSVDE):
이 단계에서 AI 시스템과 임상의 참가자는 개별적으로 익명화된 의료 이미지를 검토하고 시각적 특징만을 기반으로 잠재적 진단의 순위 목록을 생성합니다. 평가는 검증된 참조 진단이 있는 여러 의학 전문 분야 및 질병 범주에 걸쳐 약 11,500-15,000개의 익명화된 의료 이미지를 사용할 것입니다.
다단계 대화형 비열등성 평가 (MSCNE):
이 단계에서 AI 시스템과 임상의는 익명화된 의료 이미지에서 파생된 반합성 환자 시뮬레이션을 사용하여 진단 과제를 완료합니다. 이러한 시뮬레이션은 대화형 상호작용을 통해 구조화된 임상 정보를 제공하여 여러 단계에 걸친 진단 추론 평가를 가능하게 합니다. 약 380-500개의 시뮬레이션 사례가 평가될 것입니다.
약 10-30명의 전문의 자격증을 가진 임상의가 연구에 참여할 것입니다. 임상의는 원격으로 진단 평가 세션을 완료하고 이미지 및 시뮬레이션 사례의 일부에 대한 차등 진단을 제공할 것입니다. 인간 참가자는 진단 응답을 제공하는 임상의로만 구성됩니다. 이미지 데이터셋과 합성 사례는 연구 자료로 사용되며 참가자로 간주되지 않습니다.
연구에 사용된 모든 이미지는 익명화되었으며 공개적으로 이용 가능한 출처 또는 익명화 기준을 충족하는 데이터셋에서 비롯되었습니다. 추가 전처리 단계는 연구 데이터셋에 포함되기 전에 잠재적으로 식별 가능한 정보를 제거하도록 보장합니다.
AI 시스템은 오프라인 연구 환경에서 평가되며 실제 임상 진료나 환자 관리를 안내하는 데 사용되지 않습니다. 이 연구는 실제 환자를 포함한 어떤 전향적 검증 전에 벤치마크 성능 평가로 설계되었습니다.
주요 결과 측정에는 AI 시스템의 주요 진단이 참조 진단과 일치하는 사례의 비율로 정의되는 Top-1 진단 정확도와 같은 진단 정확도 지표가 포함됩니다. 2차 결과에는 Top-5 진단 정확도, 보정 지표, 질병 범주별 민감도 및 특이도, 대화형 진단 시나리오의 진단 시간 측정이 포함됩니다.
데이터 분석은 진단 정확도를 신뢰 구간으로 추정하고, 쌍을 이룬 통계적 검정과 비열등성 분석을 사용하여 AI 시스템 성능을 임상의 성능과 비교할 것입니다.
임상의 응답은 익명 연구 식별자를 사용하여 기록되며, 집계된 성능 결과만 보고될 것입니다. 임상의나 환자에 대한 식별 가능한 정보는 수집되거나 게시되지 않습니다.
연구 기간은 데이터셋 준비, 임상의 평가 세션 및 통계 분석을 포함하여 약 6개월로 예상됩니다.
프로토콜 ID 1026는 2026년 3월 10일에 Solutions IRB(855-226-4472, www.solutionsirb.com)에 의해 45CFR46.104(d) Ex에 따라 면제됨으로 확인되었습니다.
연구 유형
등록 (추정된)
연락처 및 위치
연구 연락처
- 이름: Luis R Soenksen, MSE, PhD
- 전화번호: (617) 936-9293
- 이메일: soenksen@nollahealth.com
연구 연락처 백업
- 이름: Sean Geiger, B.S.
- 전화번호: (412) 412-8786
- 이메일: sean@nollahealth.com
연구 장소
-
-
New York
-
New York, New York, 미국, 10003
- 모병
- Nolla Health (Magic Health Inc.)
-
연락하다:
- Sean Geiger, B.S.
- 전화번호: (412) 412-8786
- 이메일: sean@nollahealth.com
-
연락하다:
- Luis R Soenksen, MSE, PhD
- 전화번호: (617)936-9293
- 이메일: soenksen@nollahealth.com
-
수석 연구원:
- Luis R Soenksen, MSE, PhD
-
부수사관:
- Sean Geiger, B.S.
-
부수사관:
- Luis Wenus
-
-
참여기준
자격 기준
공부할 수 있는 나이
- 성인
- 고령자
건강한 자원 봉사자를 받아들입니다
샘플링 방법
연구 인구
설명
포함 기준:
- 피부과, 내과, 이비인후과, 산부인과, 정형외과, 소아과, 노인과, 응급의학과, 안과, 정신과, 내분비내과, 가정의학과 또는 밀접하게 관련된 전문 분야에서 활성 전문의 자격 인증 보유
- 만 18세 이상
- 안정적인 인터넷 접속이 가능한 컴퓨터 또는 태블릿을 이용하여 원격으로 진단 평가 세션을 완료할 수 있는 능력
제외 기준:
- 적격 전문 분야에서 활성 전문의 자격 인증 상실
- 원격으로 평가 세션을 완료할 수 없음
공부 계획
연구는 어떻게 설계됩니까?
디자인 세부사항
코호트 및 개입
그룹/코호트 |
개입 / 치료 |
|---|---|
|
임상의 참가자
비식별화된 의료 영상과 반합성 환자 시뮬레이션을 활용하여 진단 정확도를 평가하는 진단 평가 과제에 참여하는 자격을 갖춘 임상 의사입니다.
임상 의사들은 AI 진단 시스템과의 벤치마크 비교를 위한 감별 진단을 제공합니다.
|
AIMD.1(노라MD 에이전트로도 알려짐)은 의료 영상과 구조화된 임상 정보 분석을 기반으로 감별 진단을 생성하도록 설계된 다중 모달 인공 지능(AI) 진단 시스템입니다.
본 연구에서는 통제된 연구 조건 하에서 비식별화된 의료 영상과 반합성 환자 시뮬레이션을 사용하여 시스템을 평가합니다.
이 AI 시스템은 순위가 매겨진 진단 출력과 관련 신뢰도 점수를 생성하며, 이는 참조 진단 및 임상의 성과 지표와 비교됩니다.
시스템은 오프라인 연구 환경에서 평가됩니다.
AI 출력은 임상적 의사 결정, 환자 관리 또는 실제 의료 진료에 사용되지 않습니다.
다른 이름들:
|
연구는 무엇을 측정합니까?
주요 결과 측정
결과 측정 |
측정값 설명 |
기간 |
|---|---|---|
|
Top-1 진단 정확도
기간: 진단 평가 완료 시(최대 6개월)
|
인공지능 진단 시스템이 생성한 1차 진단이 참조(실제 진단)와 일치하는 평가 사례의 비율입니다.
정확도는 익명화된 의료 영상 사례와 반합성 환자 시뮬레이션 사례를 통해 계산되며 임상의 성능과 비교됩니다.
|
진단 평가 완료 시(최대 6개월)
|
2차 결과 측정
결과 측정 |
측정값 설명 |
기간 |
|---|---|---|
|
상위 5개 진단 정확도
기간: 진단 평가 완료 시 (최대 6개월)
|
AI 진단 시스템이 생성한 상위 5개 순위 진단 안에 올바른 참조 진단이 포함된 평가 사례의 비율.
|
진단 평가 완료 시 (최대 6개월)
|
|
임상 의료진 참가자의 진단 정확도
기간: 진단 평가 완료 시(최대 6개월)
|
할당된 이미지 및 시뮬레이션 사례 전체에서 계산된, 임상 의사 참가자의 주요 진단이 참조 진단과 일치하는 평가 사례의 비율.
|
진단 평가 완료 시(최대 6개월)
|
|
AI 진단 정확도의 임상의 대비 비열등성
기간: 진단 평가 완료 시(최대 6개월)
|
AI 진단 시스템과 임상 참가자 간의 Top-1 진단 정확도 차이.
비열등성은 사전에 정의된 5%의 마진을 사용하여 평가됩니다.
|
진단 평가 완료 시(최대 6개월)
|
|
AI 진단 신뢰도 교정
기간: 진단 평가 완료 시 (최대 6개월)
|
기대 보정 오차(ECE)를 사용하여 평가된 AI 생성 진단 신뢰도 점수의 보정 성능.
|
진단 평가 완료 시 (최대 6개월)
|
|
수신자 조작 특성 곡선 아래 면적(AUC) 및 정밀도-재현율 곡선(PRC)
기간: 진단 평가 완료 시(최대 6개월)
|
AI 진단 분류에 대한 수신자 조작 특성 곡선 아래 영역과 질병 범주별 정밀도 재현율 곡선.
|
진단 평가 완료 시(최대 6개월)
|
|
대화형 시뮬레이션에서의 진단까지의 시간
기간: 시뮬레이션 평가 완료 시(최대 6개월)
|
반합성 환자 시뮬레이션 사례에서 최종 진단에 도달하기 위해 AI 시스템과 임상 참가자 간에 필요한 대화 교환 횟수.
|
시뮬레이션 평가 완료 시(최대 6개월)
|
공동 작업자 및 조사자
수사관
- 수석 연구원: Luis R Soenksen, MSE, PhD, Nolla Health
연구 기록 날짜
연구 주요 날짜
연구 시작 (실제)
기본 완료 (추정된)
연구 완료 (추정된)
연구 등록 날짜
최초 제출
QC 기준을 충족하는 최초 제출
처음 게시됨 (실제)
연구 기록 업데이트
마지막 업데이트 게시됨 (실제)
QC 기준을 충족하는 마지막 업데이트 제출
마지막으로 확인됨
추가 정보
이 연구와 관련된 용어
기타 연구 ID 번호
- NH-OSVDE-MSCNE-1026
개별 참가자 데이터(IPD) 계획
개별 참가자 데이터(IPD)를 공유할 계획입니까?
IPD 계획 설명
약물 및 장치 정보, 연구 문서
미국 FDA 규제 의약품 연구
미국 FDA 규제 기기 제품 연구
이 정보는 변경 없이 clinicaltrials.gov 웹사이트에서 직접 가져온 것입니다. 귀하의 연구 세부 정보를 변경, 제거 또는 업데이트하도록 요청하는 경우 register@clinicaltrials.gov. 문의하십시오. 변경 사항이 clinicaltrials.gov에 구현되는 즉시 저희 웹사이트에도 자동으로 업데이트됩니다. .
AI 진단 시스템 (AIMD.1)에 대한 임상 시험
-
Kun SunBill and Melinda Gates Foundation완전한선천성 심장병(CHD) | 클러스터 무작위 시험 | 임상 평가를 위한 청진 | 스크리닝 도구 | 인공지능(AI)중국
-
University of Miami아직 모집하지 않음
-
Qun ZhaoShijiazhuang People's Hospital; Hengshui People's Hospital; Baoding Central Hospital; Wuhan... 그리고 다른 협력자들모병
-
OncoC4, Inc.Avance Clinical Pty Ltd.; OncoC4 AU Pty Ltd모집하지 않고 적극적으로흑색종 | 신장 세포 암종 | 자궁 경부암 | 간세포 암 | 위암 | 대장암 | 식도암 | 나팔관암 | 비소세포폐암 | 담관암 | 방광암 | 자궁내막암 | 두경부 편평 세포 암종 | 항문암 | 원발성 복막 암종 | 난소의 고급 장액 선암종 | 위식도접합암호주
-
Second Affiliated Hospital, School of Medicine,...아직 모집하지 않음급성 허혈성 뇌졸중
-
OncoC4, Inc.모병
-
Haseki Training and Research Hospital완전한의사결정 지원 시스템, 임상 | 소아과 | 임상적 의사결정 | 진단 중 인공 지능 (AI)터키 (Türkiye)
-
Hospital de Clinicas de Porto AlegreRio Grande do Sul State Health Department - SES/RS모병
-
Daping Hospital and the Research Institute of Surgery...아직 모집하지 않음