대규모 언어 모델을 활용한 노인 신경인지 이해 및 모니터링 (LUMEN)

1. 배경 및 근거 치매 진단은 임상 병력, 인지 평가, 그리고 간병인으로부터의 부수적 정보에 의존합니다. 그러나 구조화되고 신뢰할 수 있는 부수적 병력을 얻는 것은 간병인의 부담, 기억 편향, 그리고 기억 클리닉의 시간 제약으로 인해 어려운 과제입니다. 대규모 언어 모델(LLM)은 구조화된 병력 청취를 안내하고, 임상적으로 관련된 세부 사항을 추출하며, 정보 수집을 표준화함으로써 이 과정을 개선할 잠재력을 가지고 있습니다.

   LUMEN(대규모 언어 모델을 활용한 노인 인지 기능 이해 및 모니터링)은 임상 치매 평가 전에 간병인이 구조화된 부수적 병력을 제공하도록 돕기 위해 설계된 AI 기반 대화형 도구입니다. Royal College of Psychiatrists, Alzheimer's Research UK Northern Network 및 Newcastle Biomedical Research Network의 시드 펀딩을 받아 개발된 LUMEN은 기억 클리닉에서 진단 정확도를 향상시키고, 간병인 부담을 줄이며, 업무 흐름 효율성을 개선하기 위해 개발되었습니다.

   이 연구는 중첩된 정성적 타당성 연구를 통해 실제 임상 환경에서 LUMEN의 타당성, 사용성 및 수용 가능성을 평가할 것입니다. 우리는 간병인과 임상의를 모집하여 LUMEN과 상호 작용하도록 하고, 부수적 병력 수집에 대한 효과성을 평가할 것입니다. 이 연구는 또한 지역 사회 그룹과의 공동 제작 워크숍을 포함하여 언어, 문화적 포용성 및 접근성에 관한 문제를 탐구할 것입니다. 연구 결과는 향후 개선 사항 및 대규모 검증 연구에 정보를 제공할 것입니다.

2. 연구 목표

이 연구의 목표는 다음과 같습니다:

1. LUMEN의 사용성 평가 - 검증된 척도(시스템 사용성 척도[SUS] 및 NASA 작업 부하 지수[NASA-TLX])를 사용하여 간병인과 임상의의 경험을 측정합니다.
2. 수용 가능성 및 구현 장벽과 촉진 요인 탐구 - 정성적 인터뷰 및 공동 제작 워크숍을 실시하여 LUMEN의 설계를 개선하고 다양한 사용자 그룹 간 접근성을 보장합니다.
3. LUMEN의 출력 결과와 임상의 평가 비교 - 평가자 간 신뢰도를 위한 Cohen's Kappa를 사용하여 LUMEN 생성 보고서와 임상의가 도출한 병력 간의 일치성을 조사합니다.

3. 수행된 배경 작업 LUMEN은 150명의 임상의(주로 노인 정신과 의사)를 포함한 수정 델파이 프로세스를 사용하여 임상의 및 이해관계자와 공동 개발되었습니다. 이는 검증된 치매 도구에 매핑된 2,600개의 질문을 생성하여 임상적 관련성을 보장했습니다. 초기 기술 테스트는 시뮬레이션된 임상 비네트를 사용하여 오픈소스 LLM(예: Mistral 7B, LLaMA2 7B)을 평가했습니다. ROC 곡선 분석은 치매 관련 서술을 구분하는 데 AUC 0.89를 보였으며, Cohen's Kappa 0.82는 LUMEN의 출력 결과와 임상의 평가 간 높은 평가자 간 신뢰도를 나타냈습니다. 초기 PPIE(환자 및 공공 참여 및 관여) 피드백은 더 간단한 언어, 문화적 민감성 및 개선된 사용자 경험의 필요성을 강조했습니다. 이러한 통찰력은 제안된 공동 제작 워크숍을 통해 더욱 정제될 것입니다.

4. 연구 설계 및 방법론 이 연구는 LUMEN의 타당성과 수용 가능성을 평가하기 위해 정량적 사용성 테스트와 정성적 인터뷰를 결합한 혼합 방법론 접근법을 사용할 것입니다.

4.1. 참가자 및 모집

• 간병인(n=20-30 쌍): Northumbria NHS 기억 클리닉을 통해 모집됩니다. 적격 간병인은 환자를 잘 알고, 기본 영어 문해력이 있으며, 정보에 입각한 동의를 제공할 수 있는 성인(≥18세)이어야 합니다.
• 환자(n=20-30): 인지 평가를 위해 기억 클리닉을 방문하는 개인(≥65세)입니다.
• 임상의(n=8-10): ≥2년 경력을 가진 치매 치료 전문가(신경과 의사, 정신과 의사, 노인의학 전문의, 고급 간호 실무자)입니다.

4.2. 연구 절차

1. 기초 데이터 수집:

   • 인구통계학적 정보(연령, 성별, 민족, 사회경제적 지위).
   • 임상 진단(가능한 경우).
   • 인지 검사 점수(MoCA/ACE).

2. LUMEN 상호 작용:

   • 간병인은 노트북이나 태블릿에서 LUMEN을 사용하여 구조화된 부수적 병력을 제공합니다(~20-30분).
   • 임상의는 LUMEN 생성 병력을 검토하여 완전성과 임상적 유용성을 평가합니다.

3. 사용성 및 인지 부하 평가:

   • SUS(시스템 사용성 척도): 사용 편의성을 평가하는 10항목 리커트 척도 설문지(점수 ≥70 = 양호한 사용성).
   • NASA-TLX(작업 부하 지수): 인지된 작업 부하를 평가합니다(점수 0-29 = 낮은 작업 부하).

4. 정성적 평가:

   • 반구조화 인터뷰(n=10 간병인, n=4-5 임상의).
   • 지역 사회 그룹과의 공동 제작 워크숍을 통해 언어, 문화적 표현 및 접근성을 탐구합니다.

5. 탐색적 분석:

   • 평가자 간 신뢰도(Cohen's Kappa): LUMEN 출력 결과와 임상의 평가 간 일치성.
   • 진단 정확도(AUROC 곡선 분석): LUMEN의 평가와 임상 진단 비교.

5. 마일스톤 및 일정

연구는 12개월간(2025년 4월 - 2026년 4월) 진행되며, 주요 단계는 다음과 같습니다:

단계 월 활동 준비 및 윤리 1-3 최종 IRAS 승인, NHS R&D 승인, 팀 구성 모집 및 데이터 수집 4-9 환자-간병인 쌍 모집, 임상의 모집, LUMEN 테스트 사용성 워크숍 6-8 공동 제작 워크숍, 정성적 인터뷰 데이터 분석 및 정제 9-10 주제 분석, SUS/NASA-TLX 점수 채점, LLM 정제 최종 보고 및 다음 단계 11-12 결과 확산, 대규모 검증 연구를 위한 연구비 지원 신청서 준비 6. 기대 효과 이 연구는 대규모 임상 검증 연구 및 이후 NHS 통합에 정보를 제공할 중요한 타당성 데이터를 생성할 것입니다. 기대되는 결과는 다음과 같습니다:

• 개선된 사용성과 접근성을 가진 정제된 공동 설계 LUMEN 프로토타입.
• 사용성 및 인지 부하에 대한 정량적 증거, 향후 연구비 지원 신청서 지원.
• AI 지원 부수적 병력 청취에 대한 예비 통찰력, 의료 기기 소프트웨어(SaMD)로서의 규제 승인을 위한 기초 마련.
• MHRA 프레임워크 하에서 조기 NHS 채택 가능성, 치매 진단 과정 간소화.