¿Pueden los comentarios de un modelo de lenguaje grande mejorar la calidad de la atención médica?

Experimental: Evaluación clínica con y sin LLM

Los investigadores emplean un diseño dentro del paciente. Los pacientes reciben dos evaluaciones secuenciales de un trabajador de extensión de salud comunitaria: primero sin y luego con gran asistencia del modelo de idioma.

Otro: Soporte de decisiones clínicas del modelo de lenguaje grande

Un modelo de lenguaje grande (LLM) integrado en el sistema de registros médicos electrónicos de la clínica proporciona comentarios en tiempo real sobre las evaluaciones de los pacientes. Los trabajadores de extensión de salud comunitaria primero crean una nota de jabón estándar, la envían a la LLM y reciben comentarios detallados y recomendaciones clave. Luego pueden actualizar su evaluación en función de esta retroalimentación. Todas las decisiones finales de tratamiento son tomadas por oficiales médicos que evalúan de forma independiente a los pacientes.

Indicador de un error en el plan de tratamiento (con el potencial de daño)

Durante la evaluación de la nota de jabón, se solicita al MO que indique si el plan de tratamiento para el paciente contiene algún error, condicional al diagnóstico de MO. Esto se codifica como 1 si el MO indica que hay un error y 0 de lo contrario.

El texto introductorio (aquí para la nota de jabón a) es: evalúe si el tratamiento en la nota de jabón A es apropiado para la condición de este paciente. Base esto en su propio diagnóstico, no el diagnóstico de Chew en la nota de jabón A.

Esto es seguido por la pregunta: ¿El plan de tratamiento para el paciente en el jabón nota completamente apropiado dado su propio diagnóstico (contabilizar los tratamientos condicionales basados ​​en pruebas médicas)? Responda "No" si el paciente debe recibir atención médica diferente dada su diagnóstico. Esto puede incluir ambas diferencias menores (por ejemplo, se debe recomendar al paciente que descanse) y los errores importantes (por ejemplo, el paciente debe recibir un conjunto de medicamentos completamente diferente). (Opciones de respuesta: sí/no/inseguro)

Indicador de un error en el plan de tratamiento que causa una pérdida de al menos X días de vida ajustados a la calidad

Esta variable se codifica como 1 si el MO indica que hay tal error y 0 de lo contrario. X se define como el punto de referencia más alto en la escala DALY apropiada para que al menos el 5% de los pacientes tengan un error tan grande en la nota de jabón sin asistencia. En otras palabras, los errores severos son cualquier error que genere una calificación de daño en o superior al percentil 95 de daño en la escala no asistida (agrupar escalas para niños y adultos).

Indicador para el mejor plan de tratamiento (según lo determine el MOS)

Según la calificación DALY de la nota de jabón A vs. B (casos de contabilidad sin errores como pérdida de 0 daly), el indicador se codifica como 1 si la nota de jabón tiene el mejor plan de tratamiento (pérdida de Daly más baja) y 0 si MOS juzga ambos Las notas son las mismas en respuesta a la siguiente pregunta: ¿Hay alguna diferencia significativa en los planes de tratamiento de la nota de jabón A y B?

Indicador de si el tratamiento es consistente con un "estándar de atención" predeterminado

Los pacientes en riesgo reciben malaria, anemia y la detección de infecciones urinarias de acuerdo con ciertos criterios demográficos. Luego se construye un conjunto de datos con una observación para cada (paciente, prueba de detección, nota), hasta seis por paciente.

El indicador del mal asignación de tratamiento registra si un paciente fue tratado incorrectamente para una afección basada en el resultado de la prueba o la falta de síntomas. La variable se codifica como 1 si el paciente dio positivo y recibió tratamiento inapropiado o sin ningún tratamiento. También se codifica como 1 si el paciente probó negativo o no se probó en función de la pantalla de síntomas, pero recibió tratamiento para la afección. La variable solo se codifica como 0 si el paciente probó negativo y no fue tratado correctamente para la condición correspondiente, o si dieron positivo y recibieron el tratamiento correcto.

Indicadores que denotan el diagnóstico y la alineación del tratamiento entre masticar y MOS

Para cada medicamento en el plan de tratamiento de la masticación, existe una "indicación clínica" (el diagnóstico asociado con el medicamento) junto con un indicador que especifica si una receta dada está condicionada a un resultado de la prueba médica. El equipo de investigación considerará tres indicadores de un partido:

• cualquier coincidencia del contenido del campo de "indicación clínica" en los medicamentos;
• Cualquier coincidencia del contenido del campo de "medicamentos" en las indicaciones, incluido si el medicamento está condicionado a una prueba o no;
• Una coincidencia de medicamentos y indicación (y condicionalidad de prueba).

Indicadores alternativos para el mal asignación del tratamiento

El equipo de investigación construirá los siguientes indicadores de malas asignación del tratamiento:

• Atención errónea debido a la receta excesiva: se trata una condición que se confirma que el paciente no tiene
• Malas de asignación debido a la receta subconscrita: una condición que se confirma que tiene el paciente no se trata
• Atención errónea debido a la dosificación incorrecta o la elección del medicamento: una condición que el paciente tiene es tratada, pero la dosificación o la medicación elegida es inapropiada.

Relación de la pérdida de Qaly con la gravedad de la condición del paciente

En pacientes con solo enfermedades leves, el alcance de la pérdida de Qaly por errores puede ser limitado en relación con pacientes con enfermedades más graves.

Con esto en mente, la pérdida de Qaly se retrocede en los indicadores de enfermedades leves, moderadas y graves (según lo evaluado por el Mo), cada uno interactúa con el indicador de nota asistida, controlando los efectos fijos del paciente. Los resultados se mostrarán gráficamente.

Indicadores para la idoneidad de las decisiones de pruebas médicas

La posible errores de las pruebas médicas se pone en funcionamiento de dos maneras:

1. Para cada tipo de prueba, el equipo de investigación construirá un indicador que se codifica como 1 si la masticación recomienda realizar una prueba que resulte negativa, y un segundo indicador que es 1 si la masticación se descuida para solicitar una prueba que se produzca ser positivo.
2. En segundo lugar, el equipo de investigación construirá un indicador a nivel de (paciente, prueba, tenga en cuenta) que mide si la masticación y el MO solicitaron la misma o una prueba médica comparable (por ejemplo, la masticación solicitó un RDT de malaria, mientras que el MO solicitó un avión de sangre de malaria ).

Combinando estos indicadores, un desajuste ocurre si y solo si: i) no solicitó una prueba por el masticador, sino que fue positiva, o ii) la prueba fue solicitada por el masticador, pero el resultado fue negativo y el momento no es ordenado por la prueba equivalente. MES.

Promedio y distribución de Daly perdió

El efecto de la asistencia de LLM que se pierde Daly se mide directamente en lugar de indirectamente (como en probabilidad de error y error severo, cuya nota es la mejor nota). La distribución completa de las clasificaciones de DALY para las notas asistidas y no asistidas también se mostrará en los resultados.

MO Evaluación de las notas de jabón: desviaciones del jabón del MO

Se pide al MO que evalúe para cada jabón nota si las pruebas médicas ordenadas eran necesarias o clínicamente útiles, si hay diagnósticos faltantes o incorrectos/innecesarios, y si faltan elementos del plan de tratamiento faltantes o innecesarios/innecesarios.

MO Evaluación de las notas de jabón: tipos de daños incurridos

Se le pide al MO que evalúe cualquier daño a corto plazo (síntoma adicional o incomodidad para algún período), y cualquier daño grave a largo plazo (riesgo de deterioro, muerte, etc.) del plan de tratamiento en la nota de jabón.

MO Evaluación de las notas de jabón: Medir el tiempo saludable perdido en Daly

El MO también proporciona una calificación general que está destinada a reflejar el "tiempo saludable perdido" de cualquier error en el tratamiento en la nota de jabón. Para cada evaluación y plan construido por una masticación (con o sin consejos LLM), un MO evaluará la magnitud esperada de la vida sana que se perdería si se implementara el plan de masticación en lugar del plan de MO.

Evaluación de MD de Notas de Chew y MO: error de MO marcado

En un primer paso, revisarán solo las notas MO y registrarán si hay algún error en el diagnóstico o tratamiento propuesto en la nota condicional o en la nota final. Si se identifica un error, el MDS calificará el error por gravedad para distinguir los errores médicos de las diferencias de opinión sobre un paciente que no está presente.

Evaluación de MD de Notas Chew y MO: calificación de notas de jabón

Se le pide al MD que evalúe cualquier daño a corto plazo (síntomas adicionales o incomodidad para algún período), y cualquier daño grave a largo plazo (riesgo de deterioro, muerte, etc.) del plan de tratamiento en la nota de jabón.

El MD también proporciona una calificación general que está destinada a reflejar el "tiempo saludable perdido" de cualquier error en el tratamiento en la nota de jabón. Para cada evaluación y plan construido por una masticación (con o sin consejos LLM), un MO evaluará la magnitud esperada de la vida sana que se perdería si se implementara el plan de masticación en lugar del plan de MO. El tiempo saludable se mide en unidades del año de vida ajustado por discapacidad (DALYS), que reflejan tanto la longitud como la calidad de vida.

Evaluación de MD de Chew y MO Notes: Revisión LLM

El MDS también revisará los comentarios de LLM y responderá las siguientes preguntas:

"¿Siguió la masticación a todos, algunas o ninguna de las recomendaciones de LLM?" Si algunos o ninguno: "Imagine que la masticación había seguido todas las recomendaciones del LLM. ¿Sería el plan de tratamiento resultante una mejora sobre su nota asistida? "(Sí/no) si es así:" Explique "." "¿El LLM cometió algún error?" (Sí/No) En caso afirmativo: "¿Fue peor algún aspecto del plan de tratamiento asistido de la masticación que el plan sin asistencia porque la masticación siguió la recomendación errónea de la LLM?" Si es así: "Por favor explique.

Indicador de la idoneidad de las decisiones de clasificación

Para cada (paciente, nota), un indicador registra si la decisión de triaje de masticación (una intención de triaje indicada en la nota de jabón) y el MO sugirió que la decisión de clasificación se alinee.