응급의학 분야의 임상 연구를 가능하게 하는 자연어 처리 도구 개발 (NLP-DeVal)
응급 및 급성 치료 의학의 임상 연구를 가능하게 하는 자연어 처리 도구의 개발 및 검증: 후향적 코호트 연구
본 후향적 코호트 연구의 목적은 3년 동안 참여 응급실에 도착한 모든 성인 환자를 대상으로 응급실 전자의무기록의 내용을 해석하고 연구 목적으로 관련 정보를 추출할 수 있는 언어 모델을 개발하고 검증하는 것입니다. .
대답하려는 주요 질문은 다음과 같습니다. 언어 모델이 응급실 전자 의료 기록의 내용을 해석하고 요청된 정보를 추출하여 정확한 분석과 예측에 사용할 수 있습니까?
연구는 후향적이며 의료 건강 기록에서 데이터가 자동으로 추출됩니다.
연구 개요
상세 설명
연구의 배경과 이론적 근거
응급의학에서 임상 및 진료의 질 평가 연구를 수행하는 것은 중요한 만큼 어렵습니다. 치료해야 할 환자 수가 많고 만성적인 인력 부족으로 임시 데이터 수집이 불가능하기 때문에 어렵습니다. 이는 결국 연구를 통해 응급 의사와 간호사가 오늘날 일반적으로 발생하는 것처럼 멀리 떨어진 상황에서 얻은 증거가 아니라 자신만의 고유한 환경에서 얻은 증거에 기초하여 업무를 수행할 수 있기 때문에 중요합니다.
연구 요구 사항과 강력한 데이터 가용성 사이의 격차를 해소하는 유일한 방법은 시간이 많이 걸리는 전용 데이터 수집을 피하면서 응급실의 전자 건강 기록(EHR)에서 직접 데이터를 추출하는 것입니다. 그러나 가장 유용한 정보는 자유 텍스트 형식(예: 징후 및 증상의 존재, 의심 및 확인된 진단, 병력)이기 때문에 이는 어려운 작업입니다. 이러한 상황과 요구 사항에는 자유 텍스트에서 매우 일관된 데이터를 추출하기 위한 신뢰할 수 있는 자연어 처리(NLP) 도구가 필요합니다.
오늘날 자연어를 정확하게 해석할 수 있는 대규모 언어 모델을 사용할 수 있습니다. 그러나 이러한 모델은 주로 인터넷에서 얻은 엄청난 양의 일반 지식을 바탕으로 훈련되었으므로 의료 분야와 같은 보다 전문화된 영역에서의 성능은 최적이 아닐 수 있습니다.
본 연구는 eCREAM(Enabling Clinical Research in Emergency and Acute-care Medicine)이라는 대규모 프로젝트의 일부이며, 응급실 EHR의 내용을 해석할 수 있는 6개 언어에 대한 언어 모델(eCREAM_LM이라고 함)을 개발하고 검증하는 것을 목표로 합니다. 연구 목적으로 관련 정보를 추출합니다.
행동 양식
이 연구는 관찰, 다기관, 회고적, 24개월 연구입니다. 30개 센터(이탈리아 13개, 폴란드 4개, 그리스, 슬로바키아, 슬로베니아, 영국 3개, 스위스 1개)가 연구에 참여할 예정입니다. 센터는 어떠한 보상도 받지 않지만 비용은 프로젝트 자금으로 충당됩니다.
eCREAM_LM 모델의 개발 및 검증.
eCREAM_LM은 오픈소스 중 가장 좋은 전체 모델에 대한 학습 및 미세 조정을 통해 개발되며 부분적으로 병렬 단계로 진행됩니다. 후보 모델은 과학 문헌이나 기타 공개 소스의 엄청난 양(수십억)의 의학 텍스트에 노출됩니다. 동시에 모델은 참여 병원에서 사용 중인 의료 기록에서 얻은 막대한 양(수백만)의 무료 텍스트 메모에도 노출됩니다. 그 다음에는 참여 센터의 진료 기록에서 다시 한 번 얻은 대량(수천 건)의 임상 기록을 활용하는 미세 조정(Fine-Tuning) 단계로 넘어갑니다. 이러한 메모에는 경험이 풍부한 의사가 주석을 달게 되는데, 이는 메모에서 정보를 추출하여 가상 데이터 수집 양식(vCRF)에 나열된 데이터 항목을 채우는 것으로 구성됩니다. vCRF는 관련 연구를 위해 만들어졌으며 관련 연구의 목적인 호흡곤란이나 일시적 의식소실 환자의 입원을 예측하는데 유용한 변수 세트를 포함하고 있다. 현재 연구에서 vCRF는 언어 모델을 검증하는 도구 역할을 합니다.
eCREAM_LM의 검증은 위에서 설명한 대로 주석이 달린 1,000개의 임상 노트 세트를 사용하여 수행되지만 개발 단계에서는 사용되지 않습니다. 이러한 메모는 vCRF 컴파일 작업과 함께 eCREAM_LM 모델에 제출됩니다. 전문의와 eCREAM_LM 간의 vCRF 작성 일치 여부가 eCREAM_LM의 최종 검증 척도가 됩니다.
데이터 수집 및 익명화
각 참여 병원은 2021년부터 2023년까지 치료받은 성인 환자 150~300,000명의 의료 기록에 포함된 텍스트 메모를 무료로 제공합니다. 동일한 환자의 다양한 측면(예: 병력, 객관적인 검사, 검사 결과)을 언급하는 메모는 서로 분리되어 환자의 전체 프로필을 재구성하는 것이 불가능합니다. 또한 메모에서 환자에 대한 언급(예: 이름, 성, 생년월일) 및 상황(예: 병원, 센터 도착 날짜 및 시간)이 제거됩니다. 이 프로세스는 환자를 재식별할 가능성을 최소화하고 환자의 권리 보호를 극대화합니다. 데이터베이스 내에서 환자를 재식별할 가능성은 환자의 특성이 데이터베이스의 다른 개인과 얼마나 고유한지에 따라 달라집니다. 고유하고 식별 가능한 환자가 있을 가능성은 데이터베이스에서 사용 가능한 정보의 양에 따라 증가하고 크기에 따라 감소합니다. 임상 메모에서 모든 개인 및 상황 정보를 제거하고 각 메모를 다른 메모와 분리함으로써 각 메모는 환자의 몇 가지 특성만 보고합니다. 또한, 같은 국가의 병원에서 수집한 데이터를 병합하여 각 언어별로 하나의 대규모 데이터베이스를 갖게 됩니다. 이는 메모에서 고유하게 식별 가능한 개인이 있을 가능성을 효과적으로 제로화합니다.
마지막으로, 메모에 환자 친척의 이름, 전화번호 등 제3자에 대한 정보가 포함될 가능성을 배제하기 위해 무료 텍스트에서 개인 데이터를 제거하도록 특별히 설계된 인증된 익명화 소프트웨어가 각 병원에 설치됩니다.
익명화되면 데이터는 분석을 위해 중앙 집중화되며 과학계의 주요 유럽 언어 자원 공유 플랫폼에도 업로드됩니다.
통계 분석
eCREAM_LM 검증에서는 vCRF 작성 시 전문 응급 의사와 eCREAM_LM 자체 간의 일치성을 평가합니다. 데이터는 각 학습 언어에 대한 1,000개의 노트 샘플을 참조합니다. 일치의 척도로서 Cohen의 κ를 사용하여 vCRF의 각 변수에 대해 일치성을 평가합니다. Cohen의 κ가 0.75보다 큰 경우 eCREAM_LM은 유효한 것으로 간주됩니다.
표본의 크기
eCREAM_LM과 경험이 풍부한 응급 의사가 vCRF를 완료할 때 우수한 일치(κ=0.80)를 가정할 때, 좋은 일치를 보장하기 위한 충분한 정밀도를 달성하려면 최소 735개 메모의 샘플이 필요합니다(낮은 신뢰 한계 95% 신뢰 구간). 코헨의 κ는 0.75보다 큼). 이 숫자는 균형 분포(예: 표본의 20%가 포함된 5개 범주)를 포함하여 각 변수에 대해 서로 다른 범주 수(2~5) 및 표본 범주의 다양한 주변 분포를 포함하는 다양한 시나리오에서 얻은 최대 표본 크기입니다. 각 범주에서) 및 매우 불균형한 결과(예: 표본의 1.8%, 7.3%, 16.4%, 29.1% 및 45.5%를 포함하는 5개 범주). 일부 노트에는 관심 있는 정보가 누락될 수 있으므로 1,000개의 노트에 대해 데이터 검증 평가를 수행합니다.
연구 유형
등록 (추정된)
연락처 및 위치
연구 연락처
- 이름: Chiara Pandolfini
- 전화번호: 0039 02 39014 253
- 이메일: chiara.pandolfini@marionegri.it
연구 연락처 백업
- 이름: Giulia Ghilardi
- 전화번호: 0039 035 4535 313
- 이메일: giulia.ghilardi@marionegri.it
연구 장소
-
-
-
Catania, 이탈리아
- 아직 모집하지 않음
- AOU Policlinico 'G.Rodolico - San Marco'
-
연락하다:
- Giuseppe Carpinteri
- 전화번호: +39 095 378 1111
- 이메일: gicarpinteri@gmail.com
-
Milan, 이탈리아
- 아직 모집하지 않음
- Ospedale Luigi Sacco
-
연락하다:
- Anna Maria Brambilla
- 전화번호: +39 02 39041
- 이메일: brambilla.annamaria@asst-fbf-sacco.it
-
Milan, 이탈리아
- 아직 모집하지 않음
- ASST Grande Ospedale Metropolitano Niguarda
-
연락하다:
- Nicolò Capsoni
- 전화번호: +39 02 64441
- 이메일: nicolo.capsoni@gmail.com
-
Orbassano, 이탈리아
- 아직 모집하지 않음
- Ospedale San Luigi Gonzaga
-
연락하다:
- Valeria Caramello
- 전화번호: v.caramello@sa +39 011 90261
-
Pozzuoli, 이탈리아
- 아직 모집하지 않음
- Ospedale Santa Maria delle Grazie
-
연락하다:
- Giovanni Porta
- 전화번호: +39 081 855 2320
- 이메일: dottorgiovanniporta@gmail.com
-
Torino, 이탈리아
- 모병
- Ospedale San Giovanni Bosco
-
연락하다:
- Franco Aprà
- 전화번호: +39 011 240 2210
- 이메일: franco.apra@aslcittaditorino.it
-
Vercelli, 이탈리아
- 모병
- Ospedale Sant'Andrea
-
연락하다:
- Sergio Tartaglia
- 전화번호: +39 0161 593111
- 이메일: srtartaglia@gmail.com
-
-
Milan
-
Milan, Milan, 이탈리아, 20156
- 아직 모집하지 않음
- Istituto di Ricerche Farmacologiche Mario Negri IRCCS
-
연락하다:
- Guido Bertolini, MD
- 이메일: guido.bertolini@marionegri.it
-
-
참여기준
자격 기준
공부할 수 있는 나이
- 성인
- 고령자
건강한 자원 봉사자를 받아들입니다
샘플링 방법
연구 인구
설명
포함 기준:
- 성인
- 2021년 1월 1일부터 2023년 12월 31일 사이에 응급실에 도착함
제외 기준:
- 없음
공부 계획
연구는 어떻게 설계됩니까?
디자인 세부사항
코호트 및 개입
그룹/코호트 |
개입 / 치료 |
|---|---|
|
응급실을 방문한 성인
|
간섭 없음
|
연구는 무엇을 측정합니까?
주요 결과 측정
결과 측정 |
측정값 설명 |
기간 |
|---|---|---|
|
가상사례보고 양식 작성의 일치
기간: 1 개월
|
가상 증례 보고 양식 작성 시 전문의와 eCREAM_LM 언어 모델의 일치 정도
|
1 개월
|
공동 작업자 및 조사자
수사관
- 수석 연구원: Guido Bertolini, Istituto Di Ricerche Farmacologiche Mario Negri
연구 기록 날짜
연구 주요 날짜
연구 시작 (실제)
기본 완료 (추정된)
연구 완료 (추정된)
연구 등록 날짜
최초 제출
QC 기준을 충족하는 최초 제출
처음 게시됨 (실제)
연구 기록 업데이트
마지막 업데이트 게시됨 (실제)
QC 기준을 충족하는 마지막 업데이트 제출
마지막으로 확인됨
추가 정보
이 연구와 관련된 용어
개별 참가자 데이터(IPD) 계획
개별 참가자 데이터(IPD)를 공유할 계획입니까?
IPD 계획 설명
IPD 공유 기간
IPD 공유 지원 정보 유형
- 연구_프로토콜
- CSR
약물 및 장치 정보, 연구 문서
미국 FDA 규제 의약품 연구
미국 FDA 규제 기기 제품 연구
미국에서 제조되어 미국에서 수출되는 제품
이 정보는 변경 없이 clinicaltrials.gov 웹사이트에서 직접 가져온 것입니다. 귀하의 연구 세부 정보를 변경, 제거 또는 업데이트하도록 요청하는 경우 register@clinicaltrials.gov. 문의하십시오. 변경 사항이 clinicaltrials.gov에 구현되는 즉시 저희 웹사이트에도 자동으로 업데이트됩니다. .