의사의 진단 추론에 대한 대규모 언어 모델의 영향
연구 개요
상세 설명
진단 오류는 예방 가능한 환자 피해의 주요 원인입니다. LLM(대형 언어 모델), 특히 ChatGPT-4o의 최근 발전은 의학적 의사 결정을 향상시키는 데 유망한 것으로 나타났습니다. 그러나 의사(예: 의사 및 외과 의사)의 진단 추론에 미치는 영향에 대해서는 알려진 바가 거의 없습니다.
진단의 정확성은 복잡한 임상적 추론과 환자 데이터의 신중한 평가에 달려 있습니다. AI 지원은 잠재적으로 오류를 줄이고 효율성을 향상시킬 수 있지만 ChatGPT-4o는 의학적 검증이 부족하고 잘못된 정보 생성(환각이라고도 함)을 통해 새로운 위험을 초래할 수 있습니다. 이러한 위험을 완화하려면 의사는 ChatGPT-4o의 기능, 제한 사항 및 적절한 사용법을 이해하기 위한 적절한 교육이 필요합니다. 이러한 불확실성과 적절한 AI 훈련의 중요성을 고려할 때 임상 구현 전에 체계적인 평가가 필수적입니다.
이 무작위 연구에서는 ChatGPT-4o 액세스가 기존 리소스(예: 교과서, 온라인 의료 데이터베이스)에 비해 의사의 진단 성능을 향상시키는지 여부를 평가합니다. 참여하는 모든 의사는 ChatGPT-4o 사용법, 신속한 엔지니어링 기술 및 결과 평가 전략을 다루는 최소 10시간 교육 프로그램을 이수해야 합니다. 참가자는 맹검 검토자가 응답을 평가하여 임상 사례에 대한 근거와 권장되는 다음 단계를 갖춘 감별 진단을 제공합니다.
연구 유형
등록 (실제)
단계
- 해당 없음
연락처 및 위치
연구 장소
-
-
Punjab
-
Lahore, Punjab, 파키스탄, 54792
- Lahore University of Management Sciences
-
-
참여기준
자격 기준
공부할 수 있는 나이
- 어린이
- 성인
- 고령자
건강한 자원 봉사자를 받아들입니다
설명
포함 기준:
- 파키스탄 의료 및 치과 협의회(PMDC)에 정식 또는 임시 등록된 의료 종사자.
- 의학 학사, 외과 학사(MBBS) 시험을 마쳤습니다. 미국과 캐나다에서 동등한 MBBS 학위를 의학박사(MD)라고 합니다.
- 참가자는 ChatGPT(또는 이와 유사한 대규모 언어 모델) 사용에 대한 체계적인 교육 프로그램을 이수해야 하며 총 10시간 이상의 교육을 받아야 합니다. 프로그램에는 LLM 측면, 특히 즉각적인 엔지니어링 및 콘텐츠 평가와 관련된 실습이 포함되어야 합니다.
제외 기준:
- PMDC에 등록된 기타 모든 등록 의료인(정규 또는 임시)(예: 치과 수술 학사 또는 BDS 전문가).
공부 계획
연구는 어떻게 설계됩니까?
디자인 세부사항
- 주 목적: 특수 증상
- 할당: 무작위
- 중재 모델: 병렬 할당
- 마스킹: 없음(오픈 라벨)
무기와 개입
참가자 그룹 / 팔 |
개입 / 치료 |
|---|---|
|
활성 비교기: 채팅GPT-4o
그룹에는 ChatGPT-4o에 대한 액세스 권한이 부여됩니다.
|
채팅 인터페이스를 갖춘 OpenAI의 ChatGPT-4o 대규모 언어 모델.
|
|
간섭 없음: 기존 자원
그룹에는 ChatGPT-4o에 대한 액세스 권한이 부여되지 않지만 대규모 언어 모델(PubMed, AI 개요가 없는 Google 등) 외에 원하는 리소스를 사용하도록 권장됩니다.
|
연구는 무엇을 측정합니까?
주요 결과 측정
결과 측정 |
측정값 설명 |
기간 |
|---|---|---|
|
진단적 추론
기간: 참가자 등록 후 0~4일 사이에 진행되는 예정된 진단 추론 평가 세션 동안 각 사례에 대해 단일 시점에 평가됩니다.
|
기본 결과는 각 사례에 대한 정답률입니다(범위: 0~100).
각 사례에 대해 참가자는 세 가지 주요 진단, 해당 진단을 뒷받침하는 사례의 결과, 해당 진단에 반대하는 사례의 결과를 질문받게 됩니다.
각각의 타당한 진단에 대해 참가자는 1점을 받습니다.
진단을 뒷받침하는 결과와 진단에 반대하는 결과도 정확성을 기준으로 등급이 매겨지며, 부분적으로 올바른 응답에 1점, 완전히 올바른 응답에 2점을 부여합니다.
그런 다음 참가자는 최고의 진단 이름을 지정하라는 요청을 받게 되며, 합리적인 응답에는 1점을, 가장 정확한 응답에는 2점을 얻습니다.
마지막으로 참가자는 환자를 추가로 평가하기 위해 최대 3개의 다음 단계를 지정해야 하며, 부분적으로 올바른 응답에는 1점, 완전히 올바른 응답에는 2점을 부여합니다.
1차 결과는 무작위 그룹별로 사례 수준에서 비교됩니다.
|
참가자 등록 후 0~4일 사이에 진행되는 예정된 진단 추론 평가 세션 동안 각 사례에 대해 단일 시점에 평가됩니다.
|
2차 결과 측정
결과 측정 |
측정값 설명 |
기간 |
|---|---|---|
|
진단에 소요된 시간
기간: 참가자 등록 후 0~4일 사이에 진행되는 예정된 진단 추론 평가 세션 동안 각 사례에 대해 단일 시점에 평가됩니다.
|
두 연구 부문 간에 참가자가 사례별로 소비하는 시간(초)을 비교할 것입니다.
|
참가자 등록 후 0~4일 사이에 진행되는 예정된 진단 추론 평가 세션 동안 각 사례에 대해 단일 시점에 평가됩니다.
|
공동 작업자 및 조사자
수사관
- 수석 연구원: Ihsan Ayyub Qazi, PhD, Lahore University of Management Sciences
- 수석 연구원: Muhammad Asadullah Khawaja, MBBS, King Edward Medical University
- 수석 연구원: Ayesha Ali, PhD, Lahore University of Management Sciences
연구 기록 날짜
연구 주요 날짜
연구 시작 (실제)
기본 완료 (실제)
연구 완료 (실제)
연구 등록 날짜
최초 제출
QC 기준을 충족하는 최초 제출
처음 게시됨 (실제)
연구 기록 업데이트
마지막 업데이트 게시됨 (실제)
QC 기준을 충족하는 마지막 업데이트 제출
마지막으로 확인됨
추가 정보
이 정보는 변경 없이 clinicaltrials.gov 웹사이트에서 직접 가져온 것입니다. 귀하의 연구 세부 정보를 변경, 제거 또는 업데이트하도록 요청하는 경우 register@clinicaltrials.gov. 문의하십시오. 변경 사항이 clinicaltrials.gov에 구현되는 즉시 저희 웹사이트에도 자동으로 업데이트됩니다. .