Kann Feedback aus einem großsprachigen Modell die Qualität der Gesundheitsversorgung verbessern?

Experimental: Klinische Bewertung mit und ohne LLMs

Die Ermittler beschäftigen ein Design innerhalb des Patienten. Patienten erhalten zwei sequentielle Bewertungen von einem Community Health Extension Workor: zuerst ohne und dann mit großer Sprachmodellhilfe.

Sonstiges: Unterstützung der klinischen Entscheidungsunterstützung in großer Sprachmodell

Ein in das elektronische medizinischen Aufzeichnungssystem der Klinik integrierte Großsprachmodell (LLM) bietet Echtzeit-Feedback zu Patientenbewertungen. Die Mitarbeiter der Community Health Extension erstellen zunächst einen Standard -SOAP -Hinweis, senden Sie ihn an die LLM und erhalten detaillierte Feedback- und wichtige Empfehlungen. Sie können dann ihre Bewertung basierend auf diesem Feedback aktualisieren. Alle endgültigen Behandlungsentscheidungen werden von Ärzten getroffen, die die Patienten unabhängig bewerten.

Indikator für einen Fehler im Behandlungsplan (mit dem Potenzial für Schaden)

Während der Bewertung der SOAP -Notiz wird das MO gebeten, anzugeben, ob der Behandlungsplan für den Patienten Fehler enthält, was auf die eigene Diagnose des MO abhängig ist. Dies wird als 1 codiert, wenn das MO angibt, dass es einen Fehler und 0 angibt.

Der einführende Text (hier für SOAP -Hinweis A) lautet: Bitte bewerten Sie, ob die Behandlung in SOAP -Hinweis A für den Zustand dieses Patienten geeignet ist. Bitte begründen Sie dies auf Ihre eigene Diagnose, nicht die Diagnose des Chew in Seifennote A.

Darauf folgt die Frage: Ist der Behandlungsplan für den Patienten in SOAP -Hinweis auf eine völlig angemessene Ansicht Ihrer eigenen Diagnose (berücksichtige bedingte Behandlungen auf der Grundlage medizinischer Tests)? Antwort "Nein", wenn der Patient angesichts Ihrer Diagnose eine andere medizinische Versorgung erhalten sollte. Dies kann sowohl geringfügige Unterschiede (z. B. der Patient sollte geraten werden, sich auszuruhen) als auch schwerwiegende Fehler (z. B. sollte der Patient einen völlig anderen Satz von Medikamenten erhalten). (Antwortoptionen: Ja/Nein/unsicher)

Indikator für einen Fehler im Behandlungsplan, der einen Verlust von mindestens X-Qualitäts-inpassungsbezogener Leben verursacht

Diese Variable wird als 1 codiert, wenn das MO angibt, dass ein solcher Fehler und 0 ansonsten vorliegt. X ist definiert als der höchste Benchmark auf der entsprechenden Daly -Skala, so dass mindestens 5% der Patienten einen Fehler haben, der in der nicht unterstützten Seifennote groß ist. Mit anderen Worten, schwerwiegende Fehler sind Fehler, die eine Schadensbewertung bei oder über dem 95. Perzentil des Schadens auf der unassistierten Skala (Pooling Child- und Erwachsenenskalen) erzeugen.

Indikator für den besseren Behandlungsplan (wie durch die MOS festgelegt)

Basierend auf der Daly -Bewertung von SOAP -Hinweis A gegen B (Zählinstanzen ohne Fehler wie 0 Daly Loss) wird der Indikator als 1 codiert, wenn der SOAP -Hinweis den besseren Behandlungsplan (niedrigerer Daly -Verlust) und 0 hat, wenn MOS beides beurteilt wird Anmerkungen, die als Reaktion auf die folgende Frage gleich sind: Gibt es aussagekräftige Unterschiede in den Behandlungsplänen von SOAP Note A und B?

Indikator dafür, ob die Behandlung mit einem vorgegebenen "Versorgungsstandard" übereinstimmt, steht im Einklang

Risikopatienten erhalten Malaria, Anämie und UTI-Screening gemäß bestimmten demografischen Kriterien. Ein Datensatz wird dann mit einer Beobachtung für jeden (Patienten, Screening -Test, Anmerkung) bis zu sechs pro Patient konstruiert.

Der Indikator für die Behandlungsfehlallokation berichtet, ob ein Patient aufgrund des Testergebnisses oder des Mangels an Symptomen fälschlicherweise wegen einer Erkrankung behandelt wurde. Die Variable wird als 1 codiert, wenn der Patient positiv getestet und entweder unangemessen oder keine Behandlung erhalten hat. Es wird auch als 1 codiert, wenn der Patient negativ getestet wurde oder nicht basierend auf dem Symptombildschirm getestet wurde, sondern eine Behandlung für die Erkrankung erhielt. Die Variable wird nur als 0 codiert, wenn der Patient negativ getestet wurde und nicht für den entsprechenden Zustand behandelt wurde oder wenn er positiv getestet wurde und die richtige Behandlung erhielt.

Indikatoren, die Diagnose und Behandlungsausrichtung zwischen Kauen und MOS bezeichnen

Für jedes Medikament im Behandlungsplan des Chew gibt es eine "klinische Indikation" (die mit dem Arzneimittel verbundene Diagnose) zusammen mit einem Indikator, der feststellt, ob eine bestimmte Rezept auf ein medizinisches Testergebnis bedingt ist. Das Forschungsteam wird drei Indikatoren eines Spiels in Betracht ziehen:

• jede Übereinstimmung mit dem Inhalt des Bereichs "klinischer Indikation" über Medikamente hinweg;
• jede Übereinstimmung mit dem Inhalt des "Medikamenten" -Feldes über Indikationen hinweg, einschließlich der Frage, ob das Medikament auf einem Test abhängig ist oder nicht;
• eine Übereinstimmung sowohl von Medikamenten als auch von Indikation (und Testbedingungen).

Alternative Indikatoren für die Miserklokation der Behandlungen

Das Forschungsteam wird die folgenden Indikatoren für die Misallokation der Behandlung erstellen:

• Fehlallokation aufgrund von Überbeschreibung: Eine Erkrankung wird behandelt, dass der Patient bestätigt wird, nicht zu haben
• Fehlallokation aufgrund von Unterbeschreibung: Eine Bedingung, die der Patient hat, wird nicht behandelt
• Fehlallokation aufgrund falscher Dosierung oder Arzneimittelauswahl: Eine Erkrankung, die der Patient hat, wird behandelt, aber die gewählte Dosierung oder Medikamente ist unangemessen.

Beziehung des QALY -Verlustes zur Schwere des Patientenzustands

Bei Patienten mit nur leichten Krankheiten kann der Umfang des QALY -Verlusts durch Fehler im Vergleich zu Patienten mit schwereren Krankheiten begrenzt sein.

In diesem Sinne wird der QALY -Verlust auf Indikatoren für leichte, mittelschwere und schwere Krankheiten (wie durch das MO bewertet) jeweils mit dem assistierten Hinweis Indikator interagiert und kontrolliert die Festeffekte von Patienten. Die Ergebnisse werden grafisch angezeigt.

Indikatoren für die Angemessenheit medizinischer Testentscheidungen

Die potenzielle Fehlallokation von medizinischen Tests wird auf zwei Arten operationalisiert:

1. Für jeden Testtyp erstellt das Forschungsteam einen Indikator, der als 1 kodiert wird, wenn der Kauen empfiehlt positiv sein.
2. Zweitens erstellt das Forschungsteam einen Indikator auf der Ebene (Patient, Test, Bezeichnung), die misst, ob der Chew und MO denselben oder einen vergleichbaren medizinischen Test angefordert haben ).

Wenn diese Indikatoren kombiniert werden, tritt ein Missverhältnis auf, wenn und entweder: i) ein Test nicht vom Kauen angefordert wurde, sondern positiv war, oder ii) der Test wurde vom Kauen angefordert, aber das Ergebnis war negativ und kein äquivalenter Test wurde von der geordnet MO.

Durchschnitt und Verteilung von Daly verloren

Der Effekt der LLM -Unterstützung, die Daly verloren hat, wird eher direkt als indirekt gemessen (wie bei der Wahrscheinlichkeit von Fehlern und schwerem Fehler, die Hinweis ist die bessere Anmerkung). Die vollständige Verteilung der Daly -Bewertungen für die unterstützten und nicht unterstützten Notizen wird auch in den Ergebnissen angezeigt.

MO Evaluierung von Seifennotizen: Abweichungen von der Seife des MO

Das MO wird gebeten, für jede SOAP -Bezeichnung zu beurteilen, ob die angeordneten medizinischen Tests erforderlich oder klinisch nützlich waren, ob fehlende oder falsche/unnötige Diagnosen und ob fehlende oder falsche/unnötige Behandlungsplanelemente vorhanden sind.

MO -Bewertung von Seifennotizen: Arten von Schaden, die anfallen

Das MO wird gebeten, kurzfristige Schäden (zusätzliche Symptome oder Beschwerden für einige Zeit) und jeglichen schwerwiegenden schweren Schäden (Risiko einer Beeinträchtigung, Tod usw.) aus dem Behandlungsplan in der SOAP-Notiz zu bewerten.

MO -Bewertung von Seifennotizen: Messung der gesunden Zeit in Daly gemessen

Das MO bietet auch eine Gesamtbewertung, die die "gesunde Zeitverlust" durch Fehler in der Behandlung in der SOAP -Notiz widerspiegeln soll. Für jede Bewertung und jeden Plan, der von einem Kauen (mit oder ohne LLM -Rat) erstellt wurde, bewertet ein MO die erwartete Größe des gesunden Lebens, das verloren gehen würde, wenn der Kausplan anstelle des MO -Plans umgesetzt würde.

MD -Bewertung von Chew- und Mo -Hinweisen: MOS -Fehler mit dem MO -Fehler

In einem ersten Schritt werden nur die MO -Notizen überprüft und festlegen, ob in der Diagnose oder Behandlung in der bedingten Notiz oder in der endgültigen Notiz Fehler vorliegt. Wenn ein Fehler identifiziert wird, bewertet der MDS den Fehler nach Schweregrad, um medizinische Fehler von Meinungsunterschieden zu einem Patienten zu unterscheiden, der nicht anwesend ist.

MD -Bewertung von Chew- und Mo -Anmerkungen: SOAP -Note -Bewertung

Der MD wird gebeten, kurzfristige Schäden (zusätzliche Symptome oder Beschwerden für einen bestimmten Zeitraum) und einen langfristigen schwerwiegenden Schaden (Risiko einer Beeinträchtigung, Tod usw.) aus dem Behandlungsplan in der SOAP-Notiz zu bewerten.

Der MD liefert auch eine Gesamtbewertung, die die "gesunde Zeitverlust" durch alle Fehler in der Behandlung in der SOAP -Notiz widerspiegeln soll. Für jede Bewertung und jeden Plan, der von einem Kauen (mit oder ohne LLM -Rat) erstellt wurde, bewertet ein MO die erwartete Größe des gesunden Lebens, das verloren gehen würde, wenn der Kausplan anstelle des MO -Plans umgesetzt würde. Eine gesunde Zeit wird in Einheiten mit Behinderung eingestelltes Lebensjahr (DALYS) gemessen, die sowohl die Länge als auch die Lebensqualität widerspiegeln.

MD -Bewertung von Chew und Mo Notes: LLM Review

Das MDS wird auch das LLM -Feedback überprüfen und die folgenden Fragen beantworten:

"Hat der Kauen allen, einigen oder keinem der LLM -Empfehlungen gefolgt?" Wenn einige oder keine: "Stellen Sie sich vor, der Kauen hatte alle Empfehlungen des LLM gefolgt. Wäre der resultierende Behandlungsplan eine Verbesserung gegenüber ihrer assistierten Note? "(Ja/Nein) Wenn ja:" Bitte erklären Sie. "" " "Hat die LLM Fehler gemacht?" (Ja/Nein) Wenn ja: "War ein Aspekt des assistierten Behandlungsplans des Chew schlechter als der unassistierte Plan, weil der Chew der fehlerhaften Empfehlung des LLM folgte?" Wenn ja: "Bitte erklären.

Indikator für die Angemessenheit von Triage -Entscheidungen

Für jeden (Patienten, Anmerkung) berichtet ein Indikator, ob die Entscheidung der Kauen -Triage (die Absicht der Triage in der SOAP -Anmerkung angegeben hat) und die MO vorgeschlagen, die Entscheidung der Triage auszurichten.