대형 언어 모델의 피드백이 건강 관리 품질을 향상시킬 수 있습니까?

실험적: LLM이 있거나없는 임상 평가

연구자들은 환자 내 디자인을 사용합니다. 환자는 지역 사회 건강 확장 근로자로부터 두 가지 순차적 평가를받습니다.

다른: 대형 언어 모델 임상 의사 결정 지원

클리닉의 전자 의료 기록 시스템에 통합 된 대형 언어 모델 (LLM)은 환자 평가에 대한 실시간 피드백을 제공합니다. 지역 사회 건강 확장 근로자는 먼저 표준 비누 노트를 만들고 LLM에 제출 한 후 자세한 피드백과 주요 권장 사항을받습니다. 그런 다음이 피드백에 따라 평가를 업데이트 할 수 있습니다. 모든 최종 치료 결정은 환자를 독립적으로 평가하는 의료 책임자에 의해 이루어집니다.

치료 계획의 오류에 대한 지표 (피해의 가능성이 있음)

SOAP 노트 평가 중에 MO는 환자의 치료 계획에 MO의 진단에 대한 조건부에 대한 오류가 포함되어 있는지 여부를 나타냅니다. MO가 오류가 있고 그렇지 않으면 0을 나타내는 경우 1으로 코딩됩니다.

소개 텍스트 (여기서 SOAP Note a)는 다음과 같습니다. SOAP Note A의 치료 가이 환자의 상태에 적합한 지 평가하십시오. SOAP Note A의 Chew의 진단이 아니라 자신의 진단에 근거하십시오.

다음과 같은 질문이 있습니다. SOAP에서 환자의 치료 계획은 자신의 진단 (의료 검사에 따른 조건부 치료를 설명)을 감안할 때 완전히 적절합니까? 환자가 진단을 받아 다른 의료 서비스를 받아야하는 경우 "아니오"대답하십시오. 여기에는 경미한 차이 (예 : 환자에게 휴식을 취하도록 권고해야 함)와 주요 오류가 포함될 수 있습니다 (예 : 환자는 완전히 다른 약물 세트를 받아야 함). (답변 옵션 : 예/아니오/확실하지 않음)

치료 계획의 오류에 대한 지표는 최소 X 품질 조정 수명 일을 잃는 것을 유발합니다.

이 변수는 MO가 그러한 오류가 있고 그렇지 않으면 0을 나타내는 경우 1로 코딩됩니다. X는 적절한 Daly 척도에서 가장 높은 벤치 마크로 정의되므로 환자의 5% 이상이 보조 비 SOAP 메모에서 큰 오류가 발생합니다. 다시 말해, 심각한 오류는 보조 스케일 (풀링 아동 및 성인 척도)에서 95 번째 피해의 피해를 초과하는 피해 등급을 생성하는 오류입니다.

더 나은 치료 계획에 대한 지표 (MOS에 의해 결정된대로)

SOAP Note A vs. B (0 Daly 손실로 오류가없는 인스턴스 계산)의 Daly 등급을 기준으로, SOAP 메모에 더 나은 처리 계획이있는 경우 (DALY 손실이 낮음), MOS가 둘 다 판단하는 경우 표시기는 1으로 코딩됩니다. 다음 질문에 대한 응답으로 동일하다.

치료가 미리 정해진 "표준 치료"와 일치하는지 여부에 대한 지표

위험에 처한 환자는 특정 인구 통계 기준에 따라 말라리아, 빈혈 및 UTI 선별 검사를받습니다. 그런 다음 데이터 세트는 환자 당 최대 6 명 (환자, 스크리닝 테스트, 참고)에 대한 하나의 관찰로 구성됩니다.

치료 잘못 할당의 지표는 환자가 검사 결과 또는 증상 부족에 기초하여 상태에 대해 잘못 치료되었는지 여부를 기록합니다. 환자가 양성을 테스트하고 부적절하거나 치료가 없으면 변수는 1로 코딩됩니다. 환자가 증상 스크린에 따라 음성을 테스트하거나 검사를받지 않았지만 상태에 대한 치료를받은 경우 1로 코딩됩니다. 변수는 환자가 음성을 테스트하고 해당 조건에 대해 올바르게 치료하지 않았거나 양성을 테스트하고 올바른 치료를받는 경우에만 0으로 코딩됩니다.

츄와 MOS 간의 진단 및 치료 정렬을 나타내는 지표

Chew의 치료 계획의 각 약물에 대해, 주어진 처방전이 의료 검사 결과에서 조건부인지 지정하는 지표와 함께 "임상 적응증"(약물과 관련된 진단)이 있습니다. 연구팀은 세 가지 일치 지표를 고려할 것입니다.

• 약물에 걸친 "임상 적응증"필드의 내용의 일치;
• 약물이 시험에서 조건부인지 아닌지를 포함하여 징후에 걸친 "약물"필드의 내용물의 일치;
• 약물과 표시 (및 테스트 조건부)의 일치.

치료 잘못 할당을위한 대안 지표

연구팀은 다음과 같은 치료 잘못 할당 지표를 구성 할 것입니다.

• 과잉 대표로 인한 잘못 할당 : 환자에게
• 대표로 인한 잘못된 할당 : 환자가 확인한 상태는 치료되지 않습니다.
• 잘못된 투약 또는 약물 선택으로 인한 잘못된 할당 : 환자가 치료 한 상태는 치료되지만 선택한 투여 또는 약물은 부적절합니다.

환자 상태의 심각성과 QALY 손실의 관계

가벼운 질병 만있는 환자의 경우 실수로 인한 QALY 손실 범위는 더 심한 질병이있는 환자에 비해 제한 될 수 있습니다.

이를 염두에두고, QALY 손실은 가벼운, 중등도 및 중증 질환 (MO에 의해 평가 된 바와 같이)에 대한 지표에 대해 회귀됩니다. 결과는 그래픽으로 표시됩니다.

의료 시험 결정의 적절성에 대한 지표

의료 검사의 잠재적 잘못 할당은 두 가지 방식으로 운영됩니다.

1. 각 테스트 유형에 대해 연구팀은 chew가 음수로 판명 된 테스트를 권장하는 경우 1으로 코딩 된 표시기를 구성하고 Chew가 다음에 나오는 테스트를 요청하기 위해 무시하는 경우 1 인 두 번째 표시기입니다. 긍정적입니다.
2. 둘째, 연구팀은 Chew와 MO가 동일 또는 비슷한 의료 테스트를 요청했는지 여부를 측정하는 (환자, 테스트, 주) 수준에서 지표를 구성 할 것입니다 (예 : MO는 말라리아 혈액 사기를 요청한 반면 씹기가 말라리아 RDT를 요청했습니다. ).

이러한 지표를 결합하면 다음과 같은 경우에만 불일치가 발생합니다. i) chew에 의해 테스트가 요청되지 않았지만 긍정적이거나 ii) 테스트는 chew에 의해 요청되었지만 결과는 부정적이었고 동등한 테스트는 주문하지 않았습니다. 모.

Daly의 평균 및 분포

LLM 지원 Daly의 효과는 Daly가 간접적으로 대신 직접 측정됩니다 (오류 및 심각한 오류가 발생할 가능성이 높기 때문에 더 나은 참고 사항). 보조 및 지원되지 않은 노트에 대한 Daly 등급의 전체 분포도 결과에 표시됩니다.

비누의 MO 평가 노트 : MO 's SOAP에서의 편차

MO는 주문한 의료 검사가 필요한지 임상 적으로 유용한 지, 누락되었는지/부정/불필요한 진단이 있는지, 그리고 부정확 한/불필요한 치료 계획 요소가 있는지 여부를 평가해야합니다.

비누의 MO 평가 참고 : 발생한 피해 유형

MO는 SOAP 메모의 치료 계획에서 단기 피해 (일정 기간 동안의 추가 증상 또는 불편 함) 및 장기 심각한 피해 (손상 위험, 사망 등)를 평가하도록 요청받습니다.

비누 평가 : Daly에서 손실 된 건강한 시간 측정

MO는 또한 SOAP 메모의 치료의 오류로부터 "건강한 시간 손실"을 반영하기위한 전체 등급을 제공합니다. 씹기 (LLM 조언의 유무에 관계없이)에 의해 구성된 각 평가 및 계획에 대해, MO는 MO의 계획 대신 씹기 계획이 구현 된 경우 손실 될 건강한 삶의 예상 규모를 평가할 것입니다.

Chew 및 MO Notes의 MD 평가 : MO 오류 플래그

첫 번째 단계에서는 MO 노트 만 검토하고 조건부 메모 또는 최종 메모에 제안 된 진단 또는 치료에 오류가 있는지 여부를 기록합니다. 오류가 식별되면 MDS는 의학적 실수를 존재하지 않는 환자에 대한 의견의 차이와 구별하기 위해 심각성으로 오류를 평가합니다.

Chew 및 MO의 MD 평가 노트 : 비누 노트 등급

MD는 SOAP 메모의 치료 계획에서 단기 피해 (일정 기간 동안의 추가 증상 또는 불편 함) 및 장기 심각한 피해 (손상 위험, 사망 등)를 평가하도록 요청받습니다.

MD는 또한 SOAP 노트의 치료 오류에서 "건강한 시간 손실"을 반영하기위한 전체 등급을 제공합니다. 씹기 (LLM 조언의 유무에 관계없이)에 의해 구성된 각 평가 및 계획에 대해, MO는 MO의 계획 대신 씹기 계획이 구현 된 경우 손실 될 건강한 삶의 예상 규모를 평가할 것입니다. 건강한 시간은 길이와 삶의 질을 모두 반영하는 장애 조정 수명 (DALYS) 단위로 측정됩니다.

Chew 및 MO의 MD 평가 참고 : LLM 검토

MDS는 LLM 피드백을 검토하고 다음 질문에 답할 것입니다.

"씹는 사람은 LLM 권장 사항 중 일부 또는 일부를 따르지 않았습니까?" "일부 또는 없다면 :"씹기가 LLM의 모든 권고를 따랐다는 것을 상상해보십시오. 결과 치료 계획이 보조 메모보다 개선 될까요? "(예/아니오) 예가 있다면 :"설명하십시오. " "LLM이 실수를 했습니까?" (예/아니오) 예가 있다면 : "Chew가 LLM의 잘못된 권고를 따랐기 때문에"씹기의 지원 치료 계획의 어떤 측면이 보조 계획보다 나빴습니까? " 그렇다면 : "설명 해주세요.

심사 결정의 적절성에 대한 지표

각각 (환자, 노트)에 대해 지표는 씹기 심사 결정 (비누 노트에 심사의 의도)과 MO가 제안한 심사 결정 조정 여부를 기록합니다.