신경학의 의사 결정 도구로서의 인공 지능

AI를 활용한 평가

의사가 최종 결정(최종 결정은 수석 진료의 및 담당 의사를 기준으로 내려짐)을 내리기 전에 모델로부터만 실시간 권장 사항을 받는 시나리오

AI 없이 평가하기

의사가 모델의 권장 사항에 노출되지 않는 시나리오.

응급실 체류 기간

응급실 접수부터 응급실 퇴실 또는 병동 입원까지의 시간에 초점을 맞추고, 추가로 상담 주기 시간에 중점을 둡니다.

LLM 실행 비용

대형 언어 모델을 작동하는 평균 일일 비용 (USD).

설명:

이 결과는 임상 환경에서 LLM을 실행하여 발생하는 직접 계산 및 라이센스 비용을 측정합니다.

측정 단위 : 미국 달러 (하루에). 평가 방법 : LLM의 총 일일 지출 (예 : 클라우드 컴퓨팅 요금, 라이센스 요금)은 기록되어 평균 비용을 도출하기 위해 그날 총 환자 만남 수로 나뉩니다.

직원 준수 AI

이 결과는 얼마나 자주 (준수) 및 기꺼이 (수용) 의사, 거주자 및 간호사가 LLM을 적격 임상 시나리오에서 사용하는지 평가할 것입니다.

설명 : 의사, 거주자 및 간호사가 적격 환자 만남을 위해 LLM을 얼마나 자주 사용하는지 결정합니다.

측정 단위 : 비율 (0.0-1.0) 또는 퍼센트 (0-100%) 평가 방법 : LLM이 실제로 사용되는 만남 수를 총 자격이있는 만남 수로 나눈 값을 추적합니다. 높은 비율은 더 큰 규정 준수를 나타냅니다.

투명성/설명

설명 : LLM의 추론이 임상 직원에게 얼마나 명확하게 전달되는지 평가합니다.

측정 단위 : 5 점 리 커트 척도에서 점수 (1 = 전혀 명확하지 않음, 5 = 매우 명확) 평가 방법 : 각 LLM 유도 결정 후 거주자 또는 주치의는 모델의 설명의 명확성을 평가합니다. 평균 점수 가보고됩니다. 점수가 높을수록 선명도가 향상됩니다.

LLM 생성 임상 보고서의 품질

LLM 생성 임상 보고서의 정확성 및 완전성 점수이 결과는 LLM이 구조화 된 보고서 (예 : 퇴원 지침, 진행 노트)에서 환자의 임상 적 만남 및 권장 계획을 정확하고 포괄적으로 요약하는 방법을 평가합니다.

측정 단위 : 수정 된 비누 (주관적, 객관적인, 평가, 계획) 기준의 품질 점수는 0에서 10까지의 점수가 높을수록 더 높은 점수는 더 나은 문서화 품질을 나타냅니다. 점수는 필요한 요소 포함 및 임상 세부 사항의 정확성을 반영합니다.

평가 방법 : 각 LLM 생성 보고서는 주치의 또는 훈련 된 임상 직원 패널에 의해 독립적으로 평가됩니다. 표준화 된 체크리스트를 사용하여 검토자는 완전성 (예 : 증상 포함, 신체 소견, 진단 및 계획 포함) 및 정확도 (예 : 올바른 약물, 식별자 및 진단)를 평가 한 다음 사전 정의 된 루 브릭에 따라 점수를 지정합니다.

직원 수락 AI

설명 : 직원이 LLM을 임상 워크 플로에 기꺼이 통합하는 방법을 평가합니다.

측정 단위 : 5 포인트 리 커트 척도 (1 = 강하게 동의하지 않음, 5 = 강력하게 동의) 평가 방법 : 각 LLM 지원 만남 후 직원은 인식 된 도움과 LLM 재사용 의지에 대한 간단한 설문 조사를 완료합니다. 점수가 높을수록 수용이 더 커집니다.

본 연구는 네 가지 사전 지정된 목표를 중심으로 구성됩니다:

목표 1: LLM 진단 및 치료 권장 적절성 - 수석 임상의가 평가한 LLM 권장사항의 적절성(1=부적절, 5=적절) 기간: 응급실 등록부터 퇴원 또는 입원까지, 최대 24시간 목표 2: 진단 정확도 - LLM 지원 대 표준 치료 임상적 의사결정 - LLM 지원 대 표준 치료에서의 정확한 진단 비율(%), 퇴원 진단과 일치 기간: 응급실 등록부터 최종 진단까지, 최대 24시간 목표 3: 임상의 평가 LLM 출력물의 유용성 및 사용성 - SUS 및 리커트 척도 - SUS(0-100) 및 5점 리커트 척도로 측정된 유용성, 임상 상담 후 수집 및 질적 피드백 기간: 각 임상 상담 종료 시, 최대 36개월 목표 4: LLM 회고적 벤치마크 - 실제 임상 결과 대비 일치 백분율 및 코헨의 카파 - 비식별화 기록에서 LLM 권장사항과 실제 결과(진단, 처치, 재원 기간) 간 일치도 기간: 연구 시작 최대 36개월 전 기록

Additional Pre-Specified Outcome Measures for Both Emergency Departments Due to Expansion to Pediatrics:

Aim 1: Change in Specialist Consultations per ED Visit Internal specialist consults per daily case volume (trauma excluded) vs. 5-year mean; decrease = better decision-making and resource use.

Timeframe: Per ED visit (≤24h); monthly, 36 months Aim 2: Change in Ancillary Tests (Imaging & Laboratory) per ED Visit Imaging (X-ray, US, CT) and lab tests per daily case volume vs. 5-year mean; decrease = better decisions, less radiation.

Timeframe: Per ED visit (≤24h); monthly, 36 months Aim 3: Discharge Letter Quality Score (LLM-as-a-Judge) Automated quality score per discharge letter: Safety, Compliance, Patient Communication (1-10; higher=better); 20% manually validated vs. 200-letter baseline. Target: ≥15% improvement.

Timeframe: At closure of each discharge letter, up to 36 months Aim 4: Return Visits to ED Unplanned return within 7 days vs. prior periods; goal: rate maintenance (non-inferiority), confirming safety.

Timeframe: 7 days from discharge; monthly, 36 months