사회적 로봇 가상 환자의 AI 생성 피드백

이 프로젝트의 주요 목표는 AI 강화 소셜 로봇 VP 플랫폼에 통합된 직접 피드백 시스템이 피드백 시스템이 없는 동일한 AI 강화 소셜 로봇 VP 플랫폼보다 의과대학생들의 임상추론(CR) 및 의사소통 능력 훈련에 더 효과적인지 조사하는 것입니다.

이 연구 분야에서의 높은 지식 수준은 의미 있는 학습 성과(감독 및 환자 상호작용 포함)를 촉진하기 위해 새로운 기술과 다른 교육 자원을 최적화하여 사용하는 데 기여합니다. 단기 및 장기 목표는 류마티스 질환을 가진 환자들에게 더 나은 의료 서비스를 보장하기 위해 의학교육 환경을 개선하는 동시에 다른 의학 분야에도 적용 가능하도록 하는 것입니다. 이 교육 활동은 아직 개선 중이지만, 학생들에게 안전하고 상호작용적인 환경에서 훈련할 기회를 제공합니다.

배경:

오늘날 의료 서비스의 대부분은 외래 진료실과 주간 병동에서 제공되며, 류마티스학 분야도 마찬가지입니다. 그러나 상당 부분의 학부 의료직 교육(HPE)은 여전히 입원 환경에서 이루어지고 있으며, 입원 환자들이 특정 학습 성과와 일치하도록 보장하는 것은 여전히 어려운 과제입니다. 입원이 필요한 환자들은 일반적으로 만성 질환을 가지고 있으며, 종종 복잡한 질병 증상과 합병증을 보이고, 상당한 의학적 동반 질환을 함께 가지고 있습니다. COVID-19 팬데믹은 학생들이 교사, 환자 및 동료들과 교류하는 데 추가적인 장벽을 드러냈습니다. 이러한 상황은 학부 HPE에서 이론 및 실기 기술 훈련을 위한 대안적 접근법에 대한 이전 제안들과 결합되어, HPE 교육과정에 포함된 환자 사례와 학생들 사이의 의미 있는 상호작용을 촉진하는 혁신적인 학습 활동의 시급한 필요성을 강조합니다.

가상 환자(VP)는 교육 목적으로 설계된 임상 시나리오의 상호작용 디지털 시뮬레이션으로, 다양한 시스템과 접근법으로 표현됩니다. VP 시뮬레이션의 기본 구성 요소는 상호작용 인터페이스로, 사용자가 다양한 방식으로 환자와 교류할 수 있게 합니다: 병력 청취, 신체 검사 수행, 조사 전략 시행. 이러한 포괄적인 상호작용 가능성을 통해 사용자는 진단을 수행하고 VP에 대한 적절한 관리 계획을 결정하는 데 필요한 필수 정보를 수집할 수 있습니다.

카롤린스카 대학병원 류마티스 클리닉은 지난 15년간 의과대학생들의 임상 실습을 보완하기 위해 ReumaCase 및 Virtual Interactive Case 시뮬레이터(VIC)와 같은 컴퓨터 소프트웨어를 사용한 VP 사례를 통합하여 학생들이 대표적인 환자들과 상호작용하도록 보장해 왔습니다. 이러한 플랫폼은 준-선형 VP 시스템의 예를 보여주며, 사용자가 초기 환자 표현과 최종 진단 및 관리 결정 사이의 미리 정해진 지점들 사이를 자유롭게 이동할 수 있게 합니다. HPE 연구는 최적화된 VP 구현 전략과 VP 실습을 통한 임상추론(CR) 기술 개발을 위한 권장 사항을 포함한 새로운 학습 접근법을 산출했습니다. 학부 HPE 학생들은 VP를 CR 훈련을 위한 가치 있는 교육 도구로 인식하지만, 이러한 시뮬레이션이 실제 환자 상호작용의 복잡성과 상호작용성을 결여하고 있다는 점을 인정합니다.

CR 기술이 의학교육에서 중요하지만, 일부는 공감이 환자 치료에 참여하는 의료 종사자의 가장 중요한 기술 중 하나라고 주장합니다. 의료 제공자의 공감 기술은 환자들에게 더 나은 건강 결과와 관련이 있으며 입원 위험을 감소시키는 것으로 나타났습니다. 학부 의학교육에서 공감 행동은 일반적으로 학생, 배우 또는 교사가 표준화된 환자(대표적인 교과서 의학적 상태)를 연기하는 역할극을 사용하여 훈련됩니다. 그러나 표준화된 환자는 비용이 많이 드는 옵션이 될 수 있으며, 가용성 측면이 때때로 공감 행동 실습의 장벽이 될 수 있습니다. 이에 대한 대안은 보다 진정성 있고 상호작용적인 형태의 의사소통을 가능하게 하는 VP일 수 있습니다.

최근의 기술 발전, 특히 인공지능(AI)과 소셜 로봇공학을 통해 사용자와 VP 사이의 향상된 상호작용 방법이 도입되었습니다. 연구자들은 소셜 로봇 Furhat과 대규모 언어 모델(LLM) Chat-Generative Pretrained Transformer(Chat-GPT)를 결합한 Social AI-enhanced Robotic Interface(SARI)라는 새로운 플랫폼을 개발했습니다. 이 새로운 플랫폼은 카롤린스카 대학병원 류마티스 클리닉의 의과대학생들에게 임상 실습 동안의 훈련을 보완하기 위해 기존의 컴퓨터 기반 VP 상호작용(VIC)과 함께 구현되었습니다. 초기 연구 결과에 따르면, 학생들은 SARI가 기존의 컴퓨터 기반 플랫폼에 비해 CR 기술 개발에 있어 더 진정성 있고 상호작용적인 VP 경험을 제공한다고 인지합니다.

이 프로젝트는 의과대학생들을 위한 VP 플랫폼으로서 SARI의 효과성을 평가하는 것을 목표로 하며, 통합된 AI 생성 직접 피드백 시스템과 결합된 SARI가 병력 청취에서 임상 수행을 더욱 향상시키는지 비교합니다.

이 연구에 앞서 연구자들은 총 10개의 VP 사례를 개발했으며, 이는 카롤린스카 대학병원 류마티스학과에서 임상 실습을 위해 구현되어 현재 사용 중입니다. 이 사례들의 절반은 컴퓨터 기반 플랫폼 VIC에서 개발되었고 나머지 절반은 AI 강화 소셜 로봇 플랫폼 SARI에서 개발되었습니다. 두 플랫폼의 VP 사례들은 VP 플랫폼 개발을 위한 별도의 권장 사항에 따라 개발되었으며, 의과대학생들에 의해 직접(구두 피드백 및 평가 양식) 및 간접(연구 데이터 분석으로부터) 피드백을 통해 지속적으로 평가되고 있습니다.

모든 VP 사례들은 이제 류마티스학 내 임상 실습을 보완하는 교육 활동 "가상 외래 진료소"의 일부입니다. 이 활동 내에서 카롤린스카 연구소의 모든 6학기 의과대학생들은 1주일 동안의 류마티스 실습 기간 중 1.5일 동안 참여합니다. "가상 외래 진료소"는 2024년 봄부터 클리닉에서 진행되어 왔으며, 6주 동안 매 학기 약 150명의 학생들을 수용합니다. 이 교육 활동에서 모든 학생들은 모든 고유한 VP 사례를 수행하고 각 사례 후 컨설턴트 류마티스 전문의와의 후속 세미나에 참여하여 사례 내용과 표현된 류마티스 질환에 대한 질문을 논의합니다. 활동 시작 시, 모든 학생들은 VP 사례를 평가하여 VP 플랫폼 개발을 위한 검증된 지표를 사용하여 그들의 부가 가치를 더욱 개선하고 조사하기 위해 연구 프로젝트에 참여하도록 요청받습니다. 참여에 동의하고 동의서에 서명하면, 각 학생의 SARI와의 상호작용은 오디오 파일로 저장되고 실시간으로 전사됩니다. 현재까지 약 400명의 학생들이 SARI의 5개 VP 사례와 상호작용했으며, 이는 거의 2000건의 고유한 VP 상호작용을 산출했습니다.

연구자들은 2023년 동안 혼합 정량 및 질적 방법론을 활용하여 SARI에 대한 초기 평가를 수행하고 VIC와 비교하여 의과대학생들의 CR 기술 습득에 대한 자기 인지 성과를 비교했습니다. 15명의 의과대학생들이 포함되었으며 동일한 VP 사례를 SARI와 VIC 모두에서 완료했습니다. 학생들의 CR 훈련에 초점을 맞춘 자기 인지 VP 경험은 이전에 검증된 VP 플랫폼 개발 지표 [23]를 사용하여 평가되었습니다. 또한, 8명의 의과대학생들과 심층 인터뷰가 진행되었습니다. 이 초기 평가는 VP 평가 설문지의 미리 정의된 주제에 따라 진정성 주제와 VP 상호작용의 학습 효과에 있어 SARI에 유리한 상당한 이점을 보여주었습니다. 이러한 미리 정의된 주제들의 분석을 따라, 심층 인터뷰 데이터에 대한 주제 분석이 수행되었으며, 이는 네 가지 주제를 산출했습니다. 학생들은 CR, 의사소통 및 정서 기술 훈련에 있어 SARI가 VIC보다 우수하다고 경험했습니다.

2024년 봄 동안, 가상 외래 진료소의 총 23명의 학생들이 CR 기술 습득에 관한 SARI와 VIC의 부가 가치에 대한 그들의 인식을 다루는 연속 프로젝트로 심층 인터뷰에 참여했습니다. 이 연구를 위해 연구자들은 각 플랫폼에 4개의 추가 VP 사례를 생성했습니다. 또한, 모든 학생들은 실제 환자 상호작용 중 감독을 모방하기 위해 각 사례 완료 후 세미나에 참여했습니다. 완전히 전사된 인터뷰의 주제 분석은 유사한 결과를 산출했습니다: 학생들은 SARI가 VIC에 비해 더 진정성 있고 매력적이라고 느꼈으며, SARI가 매우 상호작용적인 의사소통 가능성을 가능하게 하고 감정을 표현할 수 있어 집합적으로 현실적인 경험을 제공한다고 경험했습니다. SARI는 학생들이 병력 청취를 위해 미리 정해진 옵션들 사이에서 선택하는 대신 자신의 질문을 구성할 수 있게 함으로써 VIC보다 더 큰 범위에서 능동적 학습, 가설 생성 및 적응적 사고를 촉진했습니다.

VP 상호작용 전에, 학생들은 일반적 측면(의학 전문 분야 전반에 적용 가능)과 류마티스학 특정 구성 요소를 모두 포함하는 병력 청취에 대한 구조화된 훈련을 받습니다. 이 준비 훈련은 학생들이 VP 사례와 교류하기 전에 기초 지식을 갖추도록 보장합니다.

학생들은 일반적으로 VP 상호작용 동안 쌍 또는 세 명의 소그룹으로 작업하며, 각 환자 상호작�에서 한 학생이 주도 역할을 맡습니다. 이 협력적 접근법은 VP 기반 임상추론 훈련에서 동료 학습을 지원하는 증거와 일치합니다. 주도 학생은 VP와의 주요 상호작용을 수행하는 반면, 다른 그룹 구성원들은 관찰하고 후속 논의 및 진단 공식화에 기여할 수 있습니다.

Social AI-enhanced Robotic Interface (SARI):

SARI는 소셜 로봇공학과 대규모 언어 모델(LLM) 인공지능을 통합한 새로운 VP 양식을 나타냅니다. 이 플랫폼은 Furhat 소셜 로봇(스톡홀름 KTH 왕립 공과대학에서 개발)과 OpenAI의 GPT-4o-mini 언어 모델을 결합합니다.

Furhat 로봇은 스탠드에 장착된 물리적 로봇 머리로 구성되며, 얼굴 표정과 음성과 동기화된 입술 움직임을 표시하는 후면 투사 애니메이션 얼굴을 특징으로 합니다. 로봇에는 음성 인식을 위한 마이크로폰 배열과 오디오 출력을 위한 스피커가 포함됩니다. 방 안의 로봇의 물리적 존재는 연구자들이 "상황적 상호작용"이라고 부르는 것을 생성하며, 여기서 로봇은 화면 기반 인터페이스로만 존재하는 것이 아니라 실제 물리적 공간을 차지합니다.

VP 대화 시스템은 다음 기술적 워크플로우를 통해 작동합니다:

1. 음성 인식: 학생 음성은 로봇의 마이크로폰 배열을 통해 캡처되고 자동 음성 인식(ASR) 기술을 사용하여 텍스트로 변환됩니다.

2. 대화 처리: 전사된 학생 입력이 다음과 결합됩니다:

   • 상세한 환자 사례 설명(병력, 증상, 검사 소견 및 성격 특성 포함)
   • 마지막 10번의 대화 차례(과도한 토큰 사용을 피하면서 대화 맥락을 유지하기 위해)
   • LLM이 일반 어시스턴트가 아닌 환자의 관점에서 응답하도록 유도하는 시스템 지침
3. 응답 생성: LLM은 환자 사례와 대화 기록을 기반으로 맥락에 적절한 응답을 생성합니다.
4. 감정 모델링: 대화 중 특정 앵커 포인트에서 LLM은 또한 대화 맥락을 기반으로 적절한 얼굴 표정(예: 걱정, 안도, 불안, 혼란)에 대한 지침을 생성합니다. 시스템은 Furhat 소프트웨어에서 사용 가능한 미리 정의된 표현 세트에서 선택합니다.
5. 음성 합성: 생성된 텍스트 응답은 텍스트-음성(TTS) 기술을 사용하여 자연스러운 소리의 음성으로 변환되며, 애니메이션 얼굴은 동기화된 입술 움직임과 선택된 감정 표현을 표시합니다.
6. 전사: 모든 대화는 실시간으로 자동 전사되고 이후 피드백 생성 및 연구 분석을 위해 안전하게 저장됩니다.

각 VP 사례는 다음을 포함한 VP 개발을 위한 확립된 원칙을 따릅니다:

• 교육과정 요구 사항과 일치하는 명확한 학습 목표
• 전형적인 임상 시나리오를 기반으로 한 현실적인 환자 표현
• 6학기 의과대학생들에게 적절한 복잡성 수준
• 일반적인 상태와 진단적으로 도전적인 표현 모두의 통합
• 관련 심리사회적 요인 및 환자 우려 사항 포함

모든 VP 사례는 프로그램에 참여하는 국제 교환 학생들을 수용하기 위해 영어로 제시됩니다. 사례별 결과와 함께 표준 실험실 검사 패널이 제공됩니다.

VP 사례들은 염증성 관절염, 결체 조직 질환 및 근골격계 장애를 포함한 다양한 류마티스학적 상태를 나타냅니다. 각 사례는 학생들이 증상 특성화, 기능 평가, 약물 병력 및 관련 시스템 검토를 포함한 포괄적인 병력 청취를 수행하도록 요구합니다.

이 연구에서 중재로 사용되는 피드백 시스템은 컨설턴트 류마티스 전문의들과 협력하여 반복적으로 개발된 정교한 2단계 알고리즘을 사용합니다:

1단계: 평가 모델

첫 번째 단계는 미리 정의된 평가 루브릭을 사용하여 완전한 학생-VP 대화 전사본을 분석합니다. 이 루브릭은 임상 수행의 여러 차원을 평가합니다:

의사소통 기술:

• 상담을 적절히 시작하기
• 환자와 라포 형성하기
• 명확하고 전문 용어 없는 언어 사용하기
• 능동적 경청 보여주기
• 공감 표시 및 환자 우려 사항 다루기
• 상담을 적절히 종료하기

일반적 병력 청취:

• 과거 병력 탐색
• 현재 약물 및 알레르기
• 관련 질환의 가족력
• 사회력(직업, 생활 상황, 지원 체계)
• 생활양식 요인(흡연, 음주, 운동)
• 시스템 검토

류마티스학 특정 병력 청취:

• 체계적 관절 증상 평가
• 통증 특성화(발병, 위치, 지속 시간, 질, 방사, 악화/완화 요인)
• 기능적 영향 평가(일상 생활 활동, 작업 능력)
• 아침 강직 지속 시간 및 패턴
• 관절 외 증상
• 염증성 대 기계적 증상에 대한 패턴 인식

임상추론 구성 요소:

• 정보 수집에 대한 체계적 접근
• 증상 패턴 및 임상적 중요성 인식
• 적절한 차별 진단 고려의 폭
• 병력 청취를 통한 논리적 진행

평가 모델은 LLM을 사용하여 각 대화를 이 루브릭에 대해 평가하며, 이러한 영역 전반에 걸쳐 강점과 개선 영역에 대한 구조화된 평가를 생성합니다.

2단계: 피드백 생성

두 번째 단계는 1단계의 구조화된 평가를 읽기 쉬운 건설적인 서면 피드백으로 변환합니다. 피드백 생성은 LLM에 다음을 지시하는 신중하게 제작된 프롬프트를 사용합니다:

• 지원적, 교육적 어조로 피드백 제시하기
• 학생의 대화에서 구체적인 예시 제공하기
• 개선 영역을 다루기 전에 강점 인정하기
• 향상을 위한 구체적인 제안 제공하기
• 평가보다 학습에 초점 맞추기

피드백 내용 및 범위 학생들은 지정된 5개의 VP 상호작용 각각 직후에 약 한 페이지(300-500단어)의 구조화된 서면 피드백을 받습니다. 피드백은 특히 병력 청취 기술에 초점을 맞추며, 이러한 측면들은 컨설턴트 류마티스 전문의와의 후속 세미나에서 다루어지기 때문에 진단 정확성이나 관리 결정을 다루지 않습니다.

대조군은 동일한 SARI 플랫폼을 사용하여 동일한 VP 사례를 완료하지만 AI 생성 피드백을 받지 않습니다. 그러나 두 그룹 모두 소셜 로봇 VP 기술에 동등하게 노출되고, 사례 완료 후 컨설턴트 류마티스 전문의와의 동일한 사례별 세미나에 참여하며, 자기 검토를 위한 대화 전사본에 접근할 수 있습니다. 유일한 체계적 차이는 AI 생성 피드백의 존재 유무입니다.

평가는 SARI에서 사용 가능한 모든 VP와 상호작용한 후 표준화된 환자(SP)를 사용한 객관적 구조화된 임상 시험(OSCE) 기반 구조로 수행됩니다. SP들은 환자 표현, 증상 병력 및 관련 배경을 설명하는 서면 사례 정보를 받습니다. SP들은 또한 일반적인 질문 형식에 대한 일관된 응답 훈련과 적절한 정서적 응답, 비언어적 의사소통 및 예상치 못한 질문 처리에 대한 지침을 받습니다.

이 연구에서 사용된 OSCE 루브릭은 병력 청취 역량에 특화된 Entrustable Professional Activity(EPA) 프레임워크를 기반으로 경험 많은 컨설턴트 류마티스 전문의들과 협력하여 개발되었습니다. 루브릭은 평가자 간 신뢰도를 보장하기 위해 파일럿 테스트 및 정제를 거쳤습니다.

평가는 지정된 점수 할당(총 10점)으로 5개의 별도 영역을 평가합니다:

• 상담 시작 시 의사소통 (0-3점): 총점의 30%
• 일반적 병력 (0-3.5점): 총점의 35%
• 표적 병력 (0-1.5점): 총점의 15%
• 진단 및 관리 추론 (0-1점): 총점의 10%
• 상담 종료 시 의사소통 (0-1점): 총점의 10%

6점은 OSCE 기반 시험에서 합격률에 해당합니다. 그러나 학생들은 이 연구가 시험 목적이 없으며 어떤 식으로든 성적에 영향을 미치지 않는다는 정보를 받습니다.

두 명의 컨설턴트 류마티스 전문의가 중재 또는 대조군 할당에 대해 눈가림된 상태로 모든 OSCE 평가를 수행했습니다. 평가자들에게는 평가 루브릭만 제공되었으며 어떤 학생들이 AI 생성 피드백을 받았는지 알지 못했습니다. 이 눈가림은 데이터 수집 기간 동안 유지되었습니다.