맞춤형 GPT-4 모델을 사용한 진단 추론
복잡한 진단 사례에서 LLM 및 임상의의 성능 평가 : 무작위 대조 시험
연구 개요
상태
상세 설명
인공 지능 (AI) 기술, 특히 OpenAi의 ChatGpt와 같은 고급 대형 언어 모델은 의료 의사 결정을 향상시킬 수 있습니다. ChatGpt-4는 의료 응용 프로그램을 위해 특별히 설계되지는 않았지만 의료 메모 작성, 환자 문의 해결 및 의료 상담 촉진 등 다양한 의료 상황에서 약속을 보여주었습니다. 그러나 임상의 진단 추론에 미치는 영향은 여전히 알려져 있지 않습니다.
임상 추론은 패턴 인식, 지식 적용 및 확률 적 추론을 포함하는 복잡한 과정입니다. ChatGpt-4와 같은 AI 도구를 의사 워크 플로우에 통합하면 임상의 작업량을 줄이고 진단 누락 가능성을 줄일 수 있습니다. 그러나 ChatGpt-4는 진단 추론을 위해 개발되거나 검증되지 않았으며, 임상의를 잘못 인도 할 수있는 그럴듯하지만 잘못된 결론을 포함하여 오해의 소지가있는 정보를 생성 할 수 있습니다. 적절하게 사용하지 않으면 개선되지 않을 수 있으며 심지어 기후 의사 결정을 방해 할 수도 있습니다. 따라서 임상의가 대형 언어 모델을 사용하여 임상 추론을 지원하기 전에 일상적인 환자 치료에 통합하는 것이 필수적입니다.
이 연구는 단계별 접근 방식과 비교하여 CATGPT-4의 맞춤형 버전에 대한 즉각적인 액세스가 사례 기반 진단 추론 작업에 대한 성능에 어떻게 영향을 미치는지 조사합니다. 단계적 접근 방식에서 참가자는 먼저 전통적인 진단 결정 지원 도구를 사용하여 맞춤형 ChatGpt-4 모델과 상호 작용하기 전에 사례 추론을 지원할 것입니다.이 시점에서 초기 답변을 수정할 수 있습니다.
참가자는 서로 다른 연구 무기로 무작위로 배정되며 각각의 지원 및 반대 결과와 함께 세 가지 미분 진단을 제공하여 진단 사례에 반응합니다. 또한 최고 진단을 식별하고 다음 진단 단계를 제안합니다. 치료 과제에 대해 눈을 멀게하는 독립적 인 검토 자들은 그들의 반응을 평가할 것입니다.
연구 유형
등록 (실제)
단계
- 해당 없음
연락처 및 위치
연구 장소
-
-
California
-
Palo Alto, California, 미국, 94305
- Stanford University
-
-
참여기준
자격 기준
공부할 수 있는 나이
- 어린이
- 성인
- 고령자
건강한 자원 봉사자를 받아들입니다
설명
포함 기준 :
- 참가자는 면허가있는 의사 여야하며 최소한 대학원 1 년 (PGY1)의 의료 훈련을 완료했습니다.
- 내과, 가정 의학 또는 응급 의학 교육.
제외 기준 :
- 현재 임상 적으로 연습하지 않습니다.
- 동일한 6 가지 진단 사례를 사용한 이전 연구 중 하나에 참여했습니다.
공부 계획
연구는 어떻게 설계됩니까?
디자인 세부사항
- 주 목적: 특수 증상
- 할당: 무작위
- 중재 모델: 병렬 할당
- 마스킹: 하나의
무기와 개입
참가자 그룹 / 팔 |
개입 / 치료 |
|---|---|
|
활성 비교기: GPT-4의 맞춤형 버전에 즉시 액세스 할 수 있습니다
그룹은 GPT-4의 맞춤형 버전을 즉시 사용하도록 권장됩니다.
|
그룹은 각 사례에 대한 진단 추론을 지원하기 위해 GPT-4의 맞춤형 버전에 즉시 액세스 할 수 있습니다.
|
|
활성 비교기: 기존 자원을 먼저, GPT-4의 맞춤형 버전에 대한 액세스 권한을 부여했습니다.
그룹은 먼저 큰 언어 모델 (Uptodate, PubMed, Google 등) 외에 원하는 리소스를 사용하는 것이 좋습니다. 그런 다음 GPT-4의 맞춤형 버전에 액세스 할 수 있습니다.
|
그룹은 기존 자원의 지원으로 진단 사례를 통해 추론하는 것이 좋습니다.
그들이 사건의 답변을 제출 한 후에는 GPT-4의 맞춤형 버전에 액세스하고 초기 답변을 변경할 수 있습니다.
|
연구는 무엇을 측정합니까?
주요 결과 측정
결과 측정 |
측정값 설명 |
기간 |
|---|---|---|
|
진단 추론
기간: 연구 완료를 통해 평균 6 개월
|
주요 결과는 사례 당 올바른 응답의 백분율입니다 (범위 : 0 ~ 100).
각 사례에 대해 참가자는 각각의 상위 3 가지 미분 진단을 제공하고 각각의 지원 및 반대 결과를 제공해야합니다.
그들은 그럴듯한 진단에 대해 1 점을 받게됩니다.
지원 및 반대 결과는 정확성에 따라 등급이 매겨지며 부분적으로 정확한 응답의 경우 1 점, 완전히 올바른 응답의 경우 2 점입니다.
그런 다음 참가자는 최고 진단을 선택하여 합리적인 선택을 위해 1 점, 가장 정확한 진단을 위해 2 점을 얻습니다.
마지막으로, 추가 환자 평가를 위해 최대 3 단계의 다음 단계를 나열하고, 1 점은 부분적으로 올바른 응답으로, 완전히 올바른 응답을 위해 2 점을 수여합니다.
1 차 결과는 사례 수준에서 분석되어 무작위 연구 그룹 간의 성능을 비교합니다.
|
연구 완료를 통해 평균 6 개월
|
2차 결과 측정
결과 측정 |
측정값 설명 |
기간 |
|---|---|---|
|
케이스 당 소비 된 시간
기간: 연구 완료를 통해 평균 6 개월
|
조사관은 평균 시간 (분) 참가자가 두 연구 무기에서 각 사례에 소비하는 것을 비교합니다.
|
연구 완료를 통해 평균 6 개월
|
|
프롬프트 주파수
기간: 연구 완료를 통해 평균 6 개월
|
조사관은 참가자 프롬프트의 빈도를 두 연구 그룹 간의 맞춤형 GPT-4 모델과 비교할 것입니다.
|
연구 완료를 통해 평균 6 개월
|
|
감정
기간: 연구 완료를 통해 평균 6 개월
|
연구자들은 참가자 프롬프트의 어조와 감정을 두 연구 그룹에서 맞춤형 GPT-4 모델과 비교할 것입니다.
조사관은 참가자의 프롬프트의 특성을 분류하기 위해 질적 코딩 시스템을 만들 것입니다.
|
연구 완료를 통해 평균 6 개월
|
|
임상 추론에서 AI에 대한 참가자 인식
기간: 연구 완료를 통해 평균 6 개월
|
이 결과는 두 연구 무기 모두에서 평가 될 것이며 맞춤형 도구에 노출되기 전후에 AI 진단 도구를 사용하려는 태도, 자신감 및 의지의 변화를 포함합니다.
우리는 AI를 사용하여 AI 진단 도구를 사용하는 것을 즐겼다면, AI 진단 도구를 사용하는 것을 즐겼다면, AI 진단 도구에 대한 귀중한 협업 경험을 제공했을 때 AI 진단 도구의 권장 사항을 보았을 때 AI 진단 도구에 대한 신뢰도를 높이고 매일 AI 진단을 사용하는 경우 AI 진단 도구를 사용하는 경우 AI 진단 도구에 대한 귀중한 공동 경험을 제공 한 경우 AI를 사용하기 위해 AI를 사용하는 참가자의 수를 평가할 것입니다.
이것들은 강력하게 동의하지 않는 것에서 강력하게 동의하는 리 커트 척도 순위에서 평가 될 것입니다.
|
연구 완료를 통해 평균 6 개월
|
|
맞춤형 GPT-4의 진단 추론
기간: 연구 완료를 통해 평균 6 개월
|
맞춤형 GPT-4의 '독립적 인'진단은 정확도로 평가됩니다.
결과는 사례 당 올바른 응답의 백분율입니다 (범위 : 0 ~ 100).
각각의 경우에 Meta-Prompt는 맞춤형 GPT-4에게 각각의 상위 3 가지 미분 진단을 제공하고 각각의 지원 및 반대 결과, 최종 진단 및 다음 단계를 제공하도록 지시합니다.
맞춤형 GPT-4는 각 타당성 진단에 대해 1 점을받습니다.
지원 및 반대 결과는 정확성에 따라 등급이 매겨지며 부분적으로 정확한 응답의 경우 1 점, 완전히 올바른 응답의 경우 2 점입니다.
최고 진단은 합리적인 선택의 경우 1 점, 가장 정확한 진단은 2 점을 얻습니다.
마지막으로, 추가 환자 평가를 위해 최대 3 단계의 다음 단계를 나열하며, 1 점은 부분적으로 올바른 응답으로, 완전히 올바른 응답을 위해 2 점을 수여합니다.
결과는 사례 수준에서 분석되어 성능을 무작위 연구 그룹의 점수와 비교합니다.
|
연구 완료를 통해 평균 6 개월
|
공동 작업자 및 조사자
수사관
- 수석 연구원: Jonathan H Chen, MD, PhD, Stanford University
연구 기록 날짜
연구 주요 날짜
연구 시작 (실제)
기본 완료 (실제)
연구 완료 (실제)
연구 등록 날짜
최초 제출
QC 기준을 충족하는 최초 제출
처음 게시됨 (실제)
연구 기록 업데이트
마지막 업데이트 게시됨 (실제)
QC 기준을 충족하는 마지막 업데이트 제출
마지막으로 확인됨
추가 정보
이 정보는 변경 없이 clinicaltrials.gov 웹사이트에서 직접 가져온 것입니다. 귀하의 연구 세부 정보를 변경, 제거 또는 업데이트하도록 요청하는 경우 register@clinicaltrials.gov. 문의하십시오. 변경 사항이 clinicaltrials.gov에 구현되는 즉시 저희 웹사이트에도 자동으로 업데이트됩니다. .