- ICH GCP
- 미국 임상 시험 레지스트리
- 임상시험 NCT07491068
대형 언어 모델이 작성한 병원 경과 요약의 정확성과 효능 (CLEAN)
2026년 3월 25일 업데이트: Martin Janičko, Pavol Jozef Safarik University
대규모 언어 모델 보조 병원 진료 과정 요약의 안전성과 업무 흐름 영향: 무작위, 평가자 맹검 비열등성 시험 프로토콜
배경: 전 세계 의사들은 직접적인 환자 진료 시간을 빼앗는 점점 증가하는 행정적 부담에 직면하고 있습니다.
입원 환자 문서화 작업 중, 병원 경과 요약서 작성은 특히 시간이 많이 소요되며 안전한 치료 전환에 중요합니다.
대규모 언어 모델(LLM)은 임상 텍스트 생성에 유망한 가능성을 보여주었지만, 일상적인 병원 진료에서 수행된 무작위, 평가자 눈가림 임상시험으로부터의 강력한 증거는 여전히 제한적입니다.
목적: CLEAN 연구는 일상적인 입원 환자 진료에서 LLM 지원, 전문가 편집 병원 경과 요약서 생성이 표준 임상의 작성 문서화와 비교하여 안전성 면에서 열등하지 않은지 평가하는 것을 목표로 합니다.
2차 목표에는 레지던트 편집 및 편집되지 않은 LLM 생성 요약서에 대한 비열등성 평가가 포함됩니다.
추가 목적은 사전 정의된 영역에 걸친 요약서 품질 평가, 의사 문서화 시간 정량화, LLM 생성 안정성 평가, 무작위 단계 이후 임상의 채택도 측정, 전문가 평가의 평가자 간, 평가자 내 및 검사-재검사 신뢰도 검토가 포함됩니다.
방법: 이는 3차 대학 병원에서 수행된 단일 센터, 이중 캠퍼스, 탐색적 무작위 대조 비열등성 시험입니다.
여러 임상 부서에 걸친 연속적인 병원 퇴원이 1:1로 LLM 지원 문서화 워크플로우 또는 표준 수동 작성에 무작위 배정됩니다.
중재는 온프레미스 LLM을 병렬 병원 정보 시스템에 통합하여 완전한, 선별되지 않은 임상 문서화로부터 병원 경과 요약서 초안을 생성하며, 의사들은 최종화 전에 이를 검토하고 편집할 수 있습니다.
주요 결과인 안전성(모든 중요한 정보의 존재 및 잘못된/환각 정보의 부재로 정의됨)은 문서화 워크플로우에 대해 눈가림된 중재 위원회에 의해 평가됩니다.
2차 결과에는 내용 타당도, 워크플로우 효율성, 생성 안정성, 시험 후 임상의 채택도 및 신뢰도 지표가 포함됩니다.
사전 정의된 5% 포인트 마진을 사용하여 비열등성을 평가하려면 총 786건의 퇴원 에피소드가 필요합니다.
윤리 및 결과 배포: 본 연구는 헬싱키 선언, 임상시험 관리기준(GCP) 및 일반 데이터 보호 규정(GDPR)에 따라 수행될 것입니다.
최소한의 위험과 일상적인 임상 데이터의 배타적 사용으로 인해 사전 동의 면제가 요청됩니다.
결과는 동료 검토 출판 및 의료 관련 이해관계자와의 협력을 통해 배포될 것입니다.
연구 개요
상세 설명
세계보건기구는 심각한 글로벌 보건 인력 위기를 확인했으며, 2020년 전 세계적으로 약 1,270만 명의 의사가 부족한 것으로 추산했습니다.
예측에 따르면 이러한 부족 현상은 향후 몇 년 동안 계속 악화될 것으로 나타났습니다 [1].
또한 이러한 부족은 인구 고령화와 다중 질환 유병률 증가로 인한 의료 수요 증가와 함께 발생하고 있습니다.
그럼에도 불구하고 행정 부담은 전 세계 의료 시스템 전반에 걸쳐 지속적이고 체계적인 과제로 남아 있습니다.
의사의 비임상 업무 부담을 줄이기 위한 노력은 제한적인 성공만을 거두었으며, 이로 인해 임상 전문성이 환자 직접 진료에서 계속해서 벗어나고 있습니다 [2].
행정 책임 중 퇴원 서류 작성은 입원 환자를 돌보는 의사에게 가장 시간이 많이 소요되는 업무 중 하나이지만, 퇴원 후 치료의 연속성을 보장하는 데에도 핵심적입니다.
많은 시간을 할애함에도 불구하고, 퇴원 요약서는 종종 기대되는 기준을 충족하지 못하며, 많은 의사들이 완성도와 품질 모두에서 부족함을 보고하고 있습니다 [3], [4].
전자의무기록의 도입은 완전 수동 작성에서 부분적 자동화로 전환하여 퇴원 서류의 선택된 부분을 자동으로 생성할 수 있도록 함으로써 이러한 부담을 완화하려는 노력을 촉진했습니다.
그러나 퇴원 서류에서 가장 임상적으로 유익한 구성 요소인 병원 경과는 거의 보편적으로 진료 의사의 수동 서술 문서화에 의존하고 있습니다.
B. 목적 본 연구의 주요 목적은 표준 임상의 작성 문서화와 비교하여 LLM 지원, 전문가 편집 병원 경과 요약 생성이 일상적인 입원 환자 치료에 사용하기에 안전한지 평가하는 것입니다.
부차적 목적에는 레지던트 편집 및 미편집 LLM 생성 병원 경과 요약의 안전성을 평가하는 것이 포함됩니다.
추가 목적은 사전 정의된 영역에서 LLM 지원 요약의 품질을 평가하고, 생성된 출력의 안정성을 평가하며, AI 지원 워크플로가 의사 문서화 시간에 미치는 영향을 정량화하고, 무작위 단계 완료 후 임상의의 LLM 지원 문서화 채택을 조사하며, 평가자 평가의 신뢰성을 평가하는 것입니다.
종합적으로, 이러한 목적은 LLM 기반 서술 생성이 실제 병원 퇴원 워크플로에 통합되는 것의 안전성과 실행 가능성을 결정하는 것을 목표로 합니다.
연구 유형
중재적
등록 (추정된)
786
단계
- 해당 없음
연락처 및 위치
이 섹션에서는 연구를 수행하는 사람들의 연락처 정보와 이 연구가 수행되는 장소에 대한 정보를 제공합니다.
연구 연락처
- 이름: Jakub Gazda, MD, PhD
- 전화번호: +421556403517
- 이메일: jakub.gazda@upjs.sk
연구 연락처 백업
- 이름: Martin Janicko, MD, PhD
- 전화번호: +421556403527
- 이메일: martin.janicko@upjs.sk
연구 장소
-
-
Košice Region
-
Košice, Košice Region, 슬로바키아, 04001
- Louis Pasteur University Hospital Kosice
-
-
참여기준
연구원은 적격성 기준이라는 특정 설명에 맞는 사람을 찾습니다. 이러한 기준의 몇 가지 예는 개인의 일반적인 건강 상태 또는 이전 치료입니다.
자격 기준
공부할 수 있는 나이
- 성인
- 고령자
건강한 자원 봉사자를 받아들입니다
아니
설명
포함 기준:
- 입원 중 사망한 환자를 포함하여 연속적으로 퇴원한 모든 환자가 포함 대상이 됩니다.
제외 기준:
- 제외 기준 없음
공부 계획
이 섹션에서는 연구 설계 방법과 연구가 측정하는 내용을 포함하여 연구 계획에 대한 세부 정보를 제공합니다.
연구는 어떻게 설계됩니까?
디자인 세부사항
- 주 목적: 건강 서비스 연구
- 할당: 무작위
- 중재 모델: 병렬 할당
- 마스킹: 하나의
무기와 개입
참가자 그룹 / 팔 |
개입 / 치료 |
|---|---|
|
실험적: LLM 지원
중재는 퇴원 시 병원 경과 요약을 생성하기 위한 LLM 지원 워크플로우로 구성됩니다.
진료 의사는 병원 Informix 데이터베이스에 연결된 애플리케이션 - CorteVision Hospital Suite - 을 사용하여 퇴원을 시작합니다.
모델의 출력 - 생성된 초안은 애플리케이션 인터페이스로 반환되며, 여기서 진료 의사가 검토하고 최종화하기 전에 텍스트를 편집, 수정, 확장 또는 축약할 수 있습니다.
최종화된 병원 경과 요약은 의사 검토 및 확인 후에만 의무 기록에 입력됩니다.
|
중재는 퇴원 시 병원 경과 요약을 생성하기 위한 LLM 지원 워크플로우로 구성됩니다.
치료 의사는 병원 Informix 데이터베이스에 연결된 애플리케이션 - CorteVision Hospital Suite -을 사용하여 퇴원을 시작합니다.
모델의 출력 - 생성된 초안은 애플리케이션 인터페이스로 반환되며, 여기서 치료 의사는 최종화하기 전에 텍스트를 검토하고 편집, 수정, 확장 또는 단축할 수 있습니다.
최종화된 병원 경과 요약은 의사 검토 및 확인 후에만 의무 기록에 입력됩니다.
|
|
간섭 없음: Control
표준, 담당 의사에 의한 병원 경과 요약의 수동 작성.
|
연구는 무엇을 측정합니까?
주요 결과 측정
결과 측정 |
측정값 설명 |
기간 |
|---|---|---|
|
안전성은 서열 척도(1,2,3)로 결과 평가자가 평가함
기간: 한 시점 평가 - 퇴원 시 (최대 5일)
|
안전성은 "추가 변경 없이 수용 가능"에서 "사소한 수정과 함께 수용 가능"을 거쳐, 현재 형태로는 "수용 불가" (중요한 정보의 부재 또는 잘못된/환각 정보의 존재 중 하나 또는 둘 모두의 조합)에 이르는 순서 척도를 사용하여 평가됩니다.
|
한 시점 평가 - 퇴원 시 (최대 5일)
|
2차 결과 측정
결과 측정 |
측정값 설명 |
기간 |
|---|---|---|
|
편집 및 미편집 LLM 생성 과정 요약본의 안전성을 순서 척도(1,2,3)로 평가
기간: 퇴원 시(최대 5일 이내)
|
LLM 생성, 레지던트 편집 및 비편집 병원 경과 요약과 표준 전문의 작성 문서의 안전성 비교.
안전성은 3가지 범주의 순위 척도를 사용하여 평가되며, "추가 변경 없이 허용 가능함" (최상의 결과)부터 "사소한 수정과 함께 허용 가능함" (불확실한 결과), "현재 형태로 허용 불가능함" (중요 정보 누락 또는 잘못된/환각 정보 포함; 최악의 결과)까지의 범위를 가집니다.
|
퇴원 시(최대 5일 이내)
|
|
Secondary outcome: Content validity across the following predefined domains (5C).
기간: 퇴원 시 (최대 5일 이내)
|
2차 결과 측정 항목: 다음의 사전 정의된 영역(5C)에 대한 질적 평가 상세 - 완전성, 간결성, 일관성, 중대한 오류(허위 정보 포함)의 부재, 그리고 문화적 및 언어적 충실도.
개별 영역은 5점 리커트 척도를 사용하여 별도로 평가될 것입니다 (1 - 전혀 동의하지 않음, 2 - 부분적으로 동의하지 않음, 3 - 중립적 동의, 4 - 부분적으로 동의, 5 - 완전히 동의).
|
퇴원 시 (최대 5일 이내)
|
|
병원 요약 완료 시간 (초)
기간: 퇴원 시 (최대 5일)
|
워크플로우 관련 이차 결과는 표준 진료와 비교하여 LLM 생성 워크플로우를 사용할 때 병원 진료 과정 문서화의 시간 효율성을 포함합니다.
결과 측정은 퇴원 시작부터 "서명 준비 완료"까지 병원 진료 과정 요약을 완료하는 데 소요된 시간(초)입니다.
|
퇴원 시 (최대 5일)
|
|
생성 안정성이 순서 척도(1,2,3)로 평가됨
기간: 퇴원 시점부터 퇴원 후 30일까지
|
생성 안정성은 동일한 원본 임상 문서에 모델이 반복적으로 적용될 때 LLM이 생성한 수정되지 않은 병원 경과 요약의 일관성을 평가할 것입니다.
생성 안정성은 동일한 심사자가 1-안정적, 2-허용 가능한 변동, 3-허용 불가능한 변동의 척도로 평가할 것입니다.
|
퇴원 시점부터 퇴원 후 30일까지
|
|
입원 환자 퇴원 건 중 LLM이 생성한 치료 과정 요약이 활용된 비율
기간: 퇴원 시점부터 퇴원 후 30일까지
|
무작위 대조 시험을 완료한 후, LLM 생성 워크플로의 도입은 한 달 동안 평가될 것입니다.
결과 측정치는 LLM에서 도출된 요약 생성이 활용된 적격 퇴원 건수의 비율로 정의됩니다.
|
퇴원 시점부터 퇴원 후 30일까지
|
|
평가자 간 신뢰도. 안전성 및 내용 타당도 평가에 대한 병원 경과 요약에 관한 두 명의 판정자의 일치율.
기간: 입원 퇴원 시점부터 입원 퇴원 후 30일까지
|
신뢰성 관련 결과는 병원 경과 요약에 대한 전문가 평가의 일관성을 평가합니다.
백분율은 안전성 및 내용 타당성 평가에 대한 평가자 간 합의를 수치화합니다.
|
입원 퇴원 시점부터 입원 퇴원 후 30일까지
|
|
동일 평가자 신뢰도. 동일한 병원 코스와 동일한 판정자에 대한 두 평가 간 안전성 및 내용 타당성 평가의 일치도.
기간: 퇴원 시(최대 5일 이내)
|
동일 평가자가 안전성 및 내용 타당도 평가의 일치도(일치율)를 바탕으로 반복 평가의 일관성을 정량화합니다.
|
퇴원 시(최대 5일 이내)
|
|
시간적 안정성 (검사-재검사 신뢰도) - 동일한 심사자가 워시아웃 기간 후에 평가한 점수 간의 일치도.
기간: 입원 퇴원 후 30일
|
평가자 판단의 시간적 안정성은 동일한 평가자가 사전 정의된 30일의 워시아웃 기간 후에 동일한 병원 경과 요약을 반복적으로 평가함으로써 평가될 것입니다(검사-재검사 신뢰도). 결과 측정은 안전성 및 내용 타당도 평가의 일치도(백분율)를 기반으로 할 것입니다.
|
입원 퇴원 후 30일
|
공동 작업자 및 조사자
여기에서 이 연구와 관련된 사람과 조직을 찾을 수 있습니다.
수사관
- 수석 연구원: Jakub Gazda, MD, PhD, Pavol Jozef Šafárik University
간행물 및 유용한 링크
연구에 대한 정보 입력을 담당하는 사람이 자발적으로 이러한 간행물을 제공합니다. 이것은 연구와 관련된 모든 것에 관한 것일 수 있습니다.
일반 간행물
- Kripalani S, LeFevre F, Phillips CO, Williams MV, Basaviah P, Baker DW. Deficits in communication and information transfer between hospital-based and primary care physicians: implications for patient safety and continuity of care. JAMA. 2007 Feb 28;297(8):831-41. doi: 10.1001/jama.297.8.831.
- Ganzinger M, Kunz N, Fuchs P, Lyu CK, Loos M, Dugas M, Pausch TM. Automated generation of discharge summaries: leveraging large language models with clinical data. Sci Rep. 2025 May 12;15(1):16466. doi: 10.1038/s41598-025-01618-7.
- Burden M, Astik G, Auerbach A, Bowling G, Kangelaris KN, Keniston A, Kochar A, Leykum LK, Linker AS, Sakumoto M, Rogers K, Schwatka N, Westergaard S. Identifying and Measuring Administrative Harms Experienced by Hospitalists and Administrative Leaders. JAMA Intern Med. 2024 Sep 1;184(9):1014-1023. doi: 10.1001/jamainternmed.2024.1890.
연구 기록 날짜
이 날짜는 ClinicalTrials.gov에 대한 연구 기록 및 요약 결과 제출의 진행 상황을 추적합니다. 연구 기록 및 보고된 결과는 공개 웹사이트에 게시되기 전에 특정 품질 관리 기준을 충족하는지 확인하기 위해 국립 의학 도서관(NLM)에서 검토합니다.
연구 주요 날짜
연구 시작 (추정된)
2026년 6월 1일
기본 완료 (추정된)
2026년 12월 31일
연구 완료 (추정된)
2027년 12월 31일
연구 등록 날짜
최초 제출
2026년 2월 25일
QC 기준을 충족하는 최초 제출
2026년 3월 19일
처음 게시됨 (실제)
2026년 3월 24일
연구 기록 업데이트
마지막 업데이트 게시됨 (실제)
2026년 3월 30일
QC 기준을 충족하는 마지막 업데이트 제출
2026년 3월 25일
마지막으로 확인됨
2026년 3월 1일
추가 정보
이 연구와 관련된 용어
기타 연구 ID 번호
- 2IK2026_1
개별 참가자 데이터(IPD) 계획
개별 참가자 데이터(IPD)를 공유할 계획입니까?
미정
약물 및 장치 정보, 연구 문서
미국 FDA 규제 의약품 연구
아니
미국 FDA 규제 기기 제품 연구
아니
이 정보는 변경 없이 clinicaltrials.gov 웹사이트에서 직접 가져온 것입니다. 귀하의 연구 세부 정보를 변경, 제거 또는 업데이트하도록 요청하는 경우 register@clinicaltrials.gov. 문의하십시오. 변경 사항이 clinicaltrials.gov에 구현되는 즉시 저희 웹사이트에도 자동으로 업데이트됩니다. .