Les commentaires d'un modèle de langue large peuvent-ils améliorer la qualité des soins de santé?

Expérimental: Évaluation clinique avec et sans LLMS

Les enquêteurs emploient une conception intra-patient. Les patients reçoivent deux évaluations séquentielles d'un travailleur de l'extension de la santé communautaire: d'abord sans, puis avec une grande aide du modèle de langue.

Autre: Assistance à la décision clinique du modèle de grande langue

Un modèle grand langage (LLM) intégré dans le système de dossier médical électronique de la clinique fournit une rétroaction en temps réel sur les évaluations des patients. Les travailleurs de l'extension de la santé communautaire créent d'abord une note de savon standard, la soumettent au LLM et reçoivent des commentaires détaillés et des recommandations clés. Ils peuvent ensuite mettre à jour leur évaluation en fonction de ces commentaires. Toutes les décisions de traitement finales sont prises par des médecins qui évaluent indépendamment les patients.

Indicateur d'une erreur dans le plan de traitement (avec le potentiel de préjudice)

Pendant l'évaluation des notes de savon, le MO est invité à indiquer si le plan de traitement pour le patient contient des erreurs, conditionnelle au diagnostic du MO. Ceci est codé 1 si le MO indique qu'il y a une erreur et 0 autrement.

Le texte d'introduction (ici pour la note de savon a) est: veuillez évaluer si le traitement dans le savon note A est approprié pour l'état de ce patient. Veuillez baser cela sur votre propre diagnostic, pas le diagnostic de la mastication dans le savon note A.

Ceci est suivi de la question: le plan de traitement pour le patient dans le savon note-t-il tout à fait approprié compte tenu de votre propre diagnostic (prise en compte des traitements conditionnels basés sur des tests médicaux)? Répondez «non» si le patient devait recevoir différents soins médicaux compte tenu de votre diagnostic. Cela peut inclure à la fois des différences mineures (par exemple, le patient doit être conseillé de se reposer) et des erreurs majeures (par exemple, le patient devrait recevoir un ensemble de médicaments complètement différent). (Options de réponse: oui / non / incertain)

Indicateur d'une erreur dans le plan de traitement qui provoque une perte d'au moins les jours de vie ajustés en fonction de la qualité

Cette variable est codée 1 si le MO indique qu'il existe une telle erreur et 0 autrement. X est défini comme étant l'indice de référence le plus élevé sur l'échelle DALY appropriée, de sorte qu'au moins 5% des patients ont une erreur importante dans la note de savon non assistée. En d'autres termes, les erreurs sévères sont des erreurs qui génèrent une note de mal au 95e centile de préjudice à l'échelle non assistée (regroupement des échelles d'enfant et d'adulte).

Indicateur pour le meilleur plan de traitement (tel que déterminé par le MOS)

Sur la base de la note DALY de la note de savon A contre B (comptage des instances sans erreurs comme 0 Daly perte), l'indicateur est codé comme 1 si la note de savon a le meilleur plan de traitement (perte de daly inférieure) et 0 si MOS juge les deux Les notes sont les mêmes en réponse à la question suivante: Y a-t-il des différences significatives dans les plans de traitement des notes S et B?

Indicateur pour savoir si le traitement est cohérent avec un "standard de soins" prédéterminé

Les patients à risque reçoivent le dépistage du paludisme, de l'anémie et de l'UTI conformément à certains critères démographiques. Un ensemble de données est ensuite construit avec une observation pour chacun (patient, test de dépistage, note), jusqu'à six par patient.

L'indicateur du traitement erroné enregistre si un patient a été traité de manière incorrecte pour une condition en fonction du résultat du test ou du manque de symptômes. La variable est codée 1 si le patient a été testé positif et a reçu un traitement inapproprié ou sans traitement. Il est également codé comme 1 si le patient a été testé négatif ou n'a pas été testé en fonction de l'écran des symptômes mais a reçu un traitement pour la maladie. La variable n'est codée que 0 si le patient a été testé négatif et n'a pas été correctement traité pour la condition correspondante, ou s'ils ont été testés positifs et ont reçu le traitement correct.

Indicateurs indiquant le diagnostic et l'alignement du traitement entre les mâtes et les MO

Pour chaque médicament dans le plan de traitement de la mastication, il y a une "indication clinique" (le diagnostic associé au médicament) ainsi qu'un indicateur qui spécifie si une prescription donnée est conditionnelle sur un résultat de test médical. L'équipe de recherche examinera trois indicateurs d'un match:

• Toute correspondance du contenu du champ "Indication clinique" entre les médicaments;
• Toute correspondance du contenu du champ "médicament" à travers les indications, y compris si le médicament est conditionnel ou non un test;
• Une correspondance des médicaments et de l'indication (et de la conditionnalité de test).

Indicateurs alternatifs pour le traitement erroné

L'équipe de recherche construira les indicateurs suivants de mauvais allocation du traitement:

• Erroné en raison de la surprescription: une condition est traitée que le patient est confirmé comme non
• Méllocation dû à la sous-présidence: une condition que le patient est confirmée n'est pas traitée
• Une mauvaise affectation due à un dosage incorrect ou à un choix de médicament: une condition que le patient a est traitée mais le dosage ou le médicament choisi est inapproprié.

Relation de la perte QALY à la gravité de l'état du patient

Chez les patients atteints de maladies légères, la portée de la perte QALY des erreurs peut être limitée par rapport aux patients atteints de maladies plus graves.

Dans cet esprit, la perte QALY est régressée sur les indicateurs des maladies légères, modérées et graves (telles qu'évaluées par le MO), chacune interagissait avec l'indicateur de note assistée, contrôlant les effets fixes du patient. Les résultats seront présentés graphiquement.

Indicateurs pour la pertinence des décisions de tests médicaux

La mauvaise allocation potentielle des tests médicaux est opérationnalisée de deux manières:

1. Pour chaque type de test, l'équipe de recherche construira un indicateur qui est codé comme 1 si la mastication recommande de procéder à un test qui se révèle négatif, et un deuxième indicateur qui est 1 si la mastication néglige de demander un test qui s'avère à être positif.
2. Deuxièmement, l'équipe de recherche construira un indicateur au niveau de (patient, test, note) qui mesure si le MOW et le MO ont demandé le même test médical ou comparable (par exemple, la mastication demandait un RDT du paludisme tandis que le MO a demandé un paludisme Bloodsmear ).

En combinant ces indicateurs, un décalage se produit si et seulement si l'un ou l'autre: i) un test n'a pas été demandé par la mastication mais était positif, ou ii) le test a été demandé par la mastication, mais le résultat était négatif et aucun test équivalent n'a été commandé par le Mo.

Moyen et distribution de Daly perdu

L'effet de l'assistance LLM Daly perdue est mesuré directement plutôt qu'indirectement (comme dans la probabilité d'erreur et d'erreur sévère, qui note est la meilleure note). La distribution complète des notes DALY pour les notes assistées et non assistées sera également présentée dans les résultats.

MO Évaluation des notes de savon: Déviations par rapport au savon du MO

Le MO est invité à évaluer pour chaque note de savon si les tests médicaux commandés étaient nécessaires ou cliniquement utiles, s'il y a des diagnostics manquants ou incorrects / inutiles, et s'il y a des éléments de plan de traitement manquant ou incorrect / inutile.

MO Évaluation des notes de savon: Types de préjudice encouru

Le MO est invité à évaluer tout préjudice à court terme (symptômes supplémentaires ou inconfort pendant une certaine période) et tout dommage grave à long terme (risque de déficience, décès, etc.) du plan de traitement dans la note de savon.

MO Évaluation des notes de savon: Mesurer le temps sain perdu à Daly

Le MO fournit également une note globale qui vise à refléter le "temps sain perdu" de toute erreur de traitement dans la note de savon. Pour chaque évaluation et plan construit par une mâcher (avec ou sans conseils LLM), un MO évaluera l'ampleur attendue de la vie saine qui serait perdue si le plan de mât était mis en œuvre au lieu du plan du MO.

Évaluation MD de Chew et MO Remarques: Erreur de MO à signaler

Dans une première étape, ils examineront uniquement les notes MO et enregistreront s'il y a une erreur dans le diagnostic ou le traitement proposé dans la note conditionnelle ou dans la note finale. Si une erreur est identifiée, les MDS évalueront l'erreur par gravité pour distinguer les erreurs médicales des différences d'opinion sur un patient qui n'est pas présent.

Évaluation MD de Chew et MO Remarques: Note de notes SOAP

Le MD est invité à évaluer tout préjudice à court terme (symptômes ou inconfort supplémentaires pendant une certaine période) et tout dommage grave à long terme (risque de déficience, de décès, etc.) du plan de traitement dans la note de savon.

Le MD fournit également une note globale qui vise à refléter le "temps sain perdu" de toute erreur de traitement dans la note de savon. Pour chaque évaluation et plan construit par une mâcher (avec ou sans conseils LLM), un MO évaluera l'ampleur attendue de la vie saine qui serait perdue si le plan de mât était mis en œuvre au lieu du plan du MO. Le temps en bonne santé est mesuré en unités de vie de vie ajustées en matière de handicap (DALYS), qui reflètent à la fois la durée et la qualité de vie.

Évaluation MD des notes de Chew et MO: examen LLM

Les MDS examineront également les commentaires LLM et répondront aux questions suivantes:

"La mastication a-t-elle suivi tout, certains ou aucune des recommandations LLM?" Si un peu ou aucun: "Imaginez que la mastication avait suivi toutes les recommandations du LLM. Le plan de traitement résultant serait-il une amélioration par rapport à leur note assistée? "(Oui / Non) Si oui:" Veuillez expliquer. "" "Le LLM a-t-il fait des erreurs?" (Oui / Non) Si oui: "Un aspect du plan de traitement assisté de la mastication était-il pire que le plan non assisté parce que la mastication a suivi la recommandation erronée du LLM?" Si oui: "Veuillez expliquer.

Indicateur de la pertinence des décisions de triage

Pour chacun (patient, note), un indicateur enregistre si la décision de triage Chew (une intention de triage indiquée dans la note de savon) et la décision du triage suggérée par le MO.