주거용 AI 임상 언어 평가 (CLEAR2)
2025년 10월 28일 업데이트: Krislynn Michelle Mueck, The University of Texas Health Science Center, Houston
주민 대상 AI 임상 언어 평가(CLEAR2) - 파일럿 무작위 대조 시험
본 연구의 목적은 생성형 인공지능(AI) 기반의 기업용 대규모 언어 모델(LLM)을 개선 및 테스트하고, LLM 기반 피드백의 실행 가능성과 수용 가능성을 평가하며, LLM 기반 피드백이 전공의 커뮤니케이션 능력 향상에 미치는 영향을 평가하고, 표준화 환자가 전공의 커뮤니케이션을 평가하는 능력을 탐구하며, 전공의가 자신의 복잡한 커뮤니케이션을 자가 평가하는 능력을 탐구하는 데 있습니다.
연구 개요
연구 유형
중재적
등록 (추정된)
64
단계
- 해당 없음
연락처 및 위치
이 섹션에서는 연구를 수행하는 사람들의 연락처 정보와 이 연구가 수행되는 장소에 대한 정보를 제공합니다.
연구 연락처
- 이름: Krislynn M Mueck, MD, MS, MPH
- 전화번호: (713) 500-7409
- 이메일: Krislynn.M.Mueck@uth.tmc.edu
연구 연락처 백업
- 이름: William D Rieger
- 전화번호: (713) 500-7300
- 이메일: William.D.Rieger@uth.tmc.edu
연구 장소
-
-
Texas
-
Houston, Texas, 미국, 77030
- The University of Texas Health Science Center at Houston
-
연락하다:
- Krislynn M Mueck, MD, MS, MPH
- 전화번호: (713) 500-7409
- 이메일: Krislynn.M.Mueck@uth.tmc.edu
-
연락하다:
- William D Rieger
- 전화번호: (713) 500-7300
- 이메일: William.D.Rieger@uth.tmc.edu
-
-
참여기준
연구원은 적격성 기준이라는 특정 설명에 맞는 사람을 찾습니다. 이러한 기준의 몇 가지 예는 개인의 일반적인 건강 상태 또는 이전 치료입니다.
자격 기준
공부할 수 있는 나이
- 성인
건강한 자원 봉사자를 받아들입니다
예
설명
포함 기준:
- 맥거번 의과대학(MMS) 일반 외과 레지던트
- 졸업 후 연수(PGY) 1-5년차
공부 계획
이 섹션에서는 연구 설계 방법과 연구가 측정하는 내용을 포함하여 연구 계획에 대한 세부 정보를 제공합니다.
연구는 어떻게 설계됩니까?
디자인 세부사항
- 주 목적: 다른
- 할당: 무작위
- 중재 모델: 병렬 할당
- 마스킹: 없음(오픈 라벨)
무기와 개입
참가자 그룹 / 팔 |
개입 / 치료 |
|---|---|
|
간섭 없음: 제어
|
|
|
실험적: 교육용 LLM 기반 피드백 도구
|
참가자들은 표준화 환자(SP)와의 3가지 다른 시나리오에 관한 구두 의사소통을 대규모 언어 모델(LLM)이 실시간으로 녹음, 전사 및 분석하며, 제안과 대체 대본 형태로 피드백을 받게 됩니다.
이러한 내용은 SP 시나리오 간에 레지던트들이 검토할 것입니다
|
연구는 무엇을 측정합니까?
주요 결과 측정
결과 측정 |
측정값 설명 |
기간 |
|---|---|---|
|
설문을 통해 평가된 가독성 판별력
기간: 중재 종료 시점 (기준선 1시간 후)
|
이것은 1-5점의 Cohen's Kappa 값으로 점수가 매겨집니다.
높은 Cohen's kappa 점수는 더 나은 결과를 의미합니다.
|
중재 종료 시점 (기준선 1시간 후)
|
|
설문을 통해 평가된 질 판별
기간: 중재 종료 시점 (기준선 1시간 후)
|
이것은 1-5점의 Cohen's Kappa 값으로 점수가 매겨집니다.
높은 Cohen's kappa 점수는 더 나은 결과를 의미합니다.
|
중재 종료 시점 (기준선 1시간 후)
|
|
설문조사를 통해 평가된 권고사항의 정확성
기간: 중재 종료시점 (기준선 1시간 후)
|
이것은 1점 매우 부정확함부터 5점 매우 정확함까지 5점 리커트 척도로 보고될 것입니다
|
중재 종료시점 (기준선 1시간 후)
|
|
권고 사항 적용 가능성에 대한 설문 조사 평가
기간: 중재 종료 (기준선 1시간 후)
|
이것은 5점 리커트 척도(1 매우 적용되지 않음 ~ 5 매우 적용됨)로 보고됩니다
|
중재 종료 (기준선 1시간 후)
|
|
설문조사를 통해 평가된 주민-표준화환자(SP) 상호작용의 인지된 가독성: 학력 수준
기간: 개입 종료 (기준선 1시간 후)
|
이는 다음과 같은 범주로 분류되어 보고됩니다: 초등학교 중학교 고등학교 대학 졸업 |
개입 종료 (기준선 1시간 후)
|
|
의사소통 능력에 대한 자신감
기간: 개입 종료 시점 (기준선 이후 1시간)
|
이 점수는 1(매우 자신 없음)에서 5(매우 자신 있음)까지로 매겨집니다
|
개입 종료 시점 (기준선 이후 1시간)
|
|
LLM의 유용성
기간: 개입 종료 시점 (기준선 후 1시간)
|
1(전혀 쓸모없음)부터 5(매우 유용함)까지 점수가 매겨집니다
|
개입 종료 시점 (기준선 후 1시간)
|
|
향후 사용의 수용 가능성
기간: 중재 종료 (기준선 1시간 후)
|
1(매우 그렇지 않음)부터 5(매우 그렇음)까지 점수로 평가됩니다
|
중재 종료 (기준선 1시간 후)
|
2차 결과 측정
결과 측정 |
측정값 설명 |
기간 |
|---|---|---|
|
의사소통 능력에 대한 자신감
기간: 개입 종료 시점 (기준선 이후 1시간)
|
이 점수는 1(매우 자신 없음)에서 5(매우 자신 있음)까지로 매겨집니다
|
개입 종료 시점 (기준선 이후 1시간)
|
|
LLM 인터페이스에 대한 설문 피드백
기간: 중재 종료 (기준선 이후 1시간)
|
이는 1(매우 비현실적)에서 5(매우 현실적)까지 점수로 매겨집니다
|
중재 종료 (기준선 이후 1시간)
|
|
주민-표준화 환자 대화록의 Flesch-Kincaid 등급 수준(FKGL) 가독성 도구로 평가된 가독성 등급 수준
기간: 중재 종료 시점 (기준선 1시간 후)
|
주민-표준환자 만남 기록의 가독성은 플레쉬-킨케이드 학년 수준 공식을 사용하여 평가되며, 이 공식은 텍스트를 이해하는 데 필요한 미국 학교 학년 수준을 추정합니다. 높은 점수는 더 높은 읽기 학년 수준(즉, 더 낮은 가독성)을 나타냅니다. 사용된 공식: 학년 수준 = 0.39(총 단어 수/총 문장 수) + 11.8(총 음절 수/총 단어 수) - 15.59 |
중재 종료 시점 (기준선 1시간 후)
|
|
주민-표준화환자(SP) 대화록의 환자 정보 품질 보장(EQIP) 점수 기준 품질
기간: 개입 종료 시점 (기준선 1시간 후)
|
검증된 설문지를 기반으로 한 백분율 점수. 20개 문항으로 구성되며 각 문항은 1(예), 0.5(부분적), 0(아니오)으로 채점되며 해당되지 않는 문항은 제외됩니다. 점수는 백분율로 보고되며 높은 백분율 점수는 더 나은 품질을 나타냅니다.
|
개입 종료 시점 (기준선 1시간 후)
|
|
표준화된 설문조사로 평가된 SP-주민 상호작용의 인지된 가독성
기간: 중재 종료 (기준 시점 1시간 후)
|
이것은 다음과 같은 범주로 분류되어 보고됩니다: 초등학교 중학교 고등학교 대학 졸업 |
중재 종료 (기준 시점 1시간 후)
|
공동 작업자 및 조사자
여기에서 이 연구와 관련된 사람과 조직을 찾을 수 있습니다.
수사관
- 수석 연구원: Krislynn M Mueck, MD, MS, MPH, The University of Texas Health Science Center, Houston
연구 기록 날짜
이 날짜는 ClinicalTrials.gov에 대한 연구 기록 및 요약 결과 제출의 진행 상황을 추적합니다. 연구 기록 및 보고된 결과는 공개 웹사이트에 게시되기 전에 특정 품질 관리 기준을 충족하는지 확인하기 위해 국립 의학 도서관(NLM)에서 검토합니다.
연구 주요 날짜
연구 시작 (추정된)
2025년 10월 23일
기본 완료 (추정된)
2026년 3월 26일
연구 완료 (추정된)
2026년 5월 28일
연구 등록 날짜
최초 제출
2025년 10월 28일
QC 기준을 충족하는 최초 제출
2025년 10월 28일
처음 게시됨 (추정된)
2025년 10월 30일
연구 기록 업데이트
마지막 업데이트 게시됨 (추정된)
2025년 10월 30일
QC 기준을 충족하는 마지막 업데이트 제출
2025년 10월 28일
마지막으로 확인됨
2025년 10월 1일
추가 정보
이 연구와 관련된 용어
기타 연구 ID 번호
- HSC-MS-25-0920
개별 참가자 데이터(IPD) 계획
개별 참가자 데이터(IPD)를 공유할 계획입니까?
아니요
약물 및 장치 정보, 연구 문서
미국 FDA 규제 의약품 연구
아니
미국 FDA 규제 기기 제품 연구
아니
이 정보는 변경 없이 clinicaltrials.gov 웹사이트에서 직접 가져온 것입니다. 귀하의 연구 세부 정보를 변경, 제거 또는 업데이트하도록 요청하는 경우 register@clinicaltrials.gov. 문의하십시오. 변경 사항이 clinicaltrials.gov에 구현되는 즉시 저희 웹사이트에도 자동으로 업데이트됩니다. .