Openevidence -Sicherheit und vergleichende Wirksamkeit von vier LLMs in der klinischen Praxis

Openevidence ist ein Online-Tool, das aus der Mai-Klinikplattform beschleunigt [Openevidence], die Daten aus von Experten begutachteten medizinischen Studien aggregiert und synthetisiert und dann eine Antwort auf die Fragen eines Benutzers unter Verwendung generativer KI erstellt. Während es heute von einer Reihe von Klinikern (einschließlich Einwohnern) verwendet wird, gibt es kaum veröffentlichte Daten darüber, ob die Ausgaben des Tools korrekt sind und ob diese Informationen angemessen die klinische Entscheidungsfindung informieren. In ähnlicher Weise wenden sich eine Reihe von Klinikern an andere Großsprachenmodelle (LLMs), um die Entscheidungsfindung bei der Bereitstellung klinischer Versorgung zu unterstützen.

Openevidence ist ein Online-Tool, das Daten aus von Experten begutachteten klinischen Studien zusammenfasst und synthetisiert hat und anschließend Antworten auf Benutzeranfragen durch die Anwendung generativer KI generiert. Obwohl sowohl von erfahrenen Klinikern als auch Auszubildenden zunehmend genutzt werden, gibt es bemerkenswerte Daten zur Genauigkeit der Outputs des Tools, ihrer Sicherheit und Wirksamkeit bei der angemessenen Information der klinischen Entscheidungsfindung. Gleichzeitig nutzen eine wachsende Anzahl von Klinikern andere öffentlich verfügbare Großsprachmodelle (LLMs), um die Entscheidungsfindung in der klinischen Versorgung zu unterstützen. Während eine Reihe von Studien die Genauigkeit der LLM-Reaktionen auf Fragen des medizinischen Verwaltungsrats oder klinische Vignetten untersucht hat, gibt es nur begrenzte Untersuchungen zu ihrer Leistung in klinischen Umgebungen in realer Welt, und noch weniger Studien bieten vergleichende Analysen dieser Leistung.

In einer Überprüfung der Literatur zeigt ein Artikel, dass LLMs möglicherweise besser Angst erkennen als Praktiker, dies basiert jedoch auf klinischen Vignetten. [Levkovich et al.] Ein anderer untersuchte die diagnostische Empfindlichkeit von LLMs unter Verwendung von Patienten mit dem von Patienten berichteten Ergebnismaßnahmen in einem strukturierten Fragebogen. [Pagano et al.] Eine zusätzliche Studie zum Vergleich von LLMs für Onkologie verwendet auch fiktive Vignetten. [Benary et al.] Eine randomisierte Kontrollstudie mit klinischen Vignetten zeigte keine klinische Verbesserung für Anbieter, die Zugang zu LLMs hatten. [Goh et al.] Eine Fallstudie untersuchte die Integration von ChatGPT 3.5 in die täglichen Runden und bewertete ihre Verwendung qualitativ, verglichen sie jedoch nicht mit anderen LLM- oder Gold -Standard -Referenzwerkzeugen. [Skryd et al.] Ein anderer verglich die Reaktionen von ChatGPT mit den Kriterien für die Angemessenheit des American College of Radiology für Brustschmerzen und Brustkrebs -Screening, verglichen es jedoch nicht mit anderen LLMs. [Rao et al.] In unserer Übersicht bewertete nur eine Studie LLMs in einer klinischen Umgebung in der realen Welt. Dies war eine Reihe von Papieren, die ihre Verwendung für komplexe Entscheidungsfindung in der Brustkrebspflege untersuchten, indem sie eine kleine Anzahl von tatsächlichen Fällen und eine standardisierte Eingabeaufenthaltsvorlage verwendeten. [Griewing, Knitza et al.; Gremke et al.] Gremke Diese Studie ergab Probleme mit der Konsistenz und Verschlechterung der Genauigkeit (insbesondere mit GPT 3.5), was die Autoren dazu veranlasste, zu dem Schluss zu kommen, dass der klinische Einsatz von LLMs zu diesem Zweck zum Zeitpunkt der Veröffentlichung noch nicht möglich war. Dennoch sehen die Führungskräfte von Gesundheitssystemen die Verwendung dieser Tools in der klinischen Praxis schnell beschleunigt. Aus diesem Grund sind die Ermittler der Ansicht, dass es unabdingbar ist, ihre Sicherheit und die klinische Angemessenheit der Entscheidungen zu untersuchen, die Kliniker aufgrund ihrer Verwendung treffen.

Cambridge Health Alliance (CHA) ist ein öffentliches, akademisches Sicherheitsnetzgesundheitssystem in Boston, das einer vielfältigen Patientenbevölkerung dient. CHA verfügt über eine robuste Grundversorgung und eine ambulante Psychiatrie -Fußabdruck und unterstützt ein großes Programm für medizinische Ausbildung in der Harvard Medical School und der Tufts University School of Medicine. Die Ermittler wählten die Bewohner als unsere primären Studienteilnehmer aus, da viele Auszubildende bereits Openevidence verwenden, und sie stellten fest, dass sie an der Studie angeregt wurden, wenn sie Zugang zum Tool bei CHA gewährt (wo es ansonsten von Netzwerkdiensten auf die schwarze Liste gesetzt und durch Richtlinien verboten ist, bis die Ergebnisse dieser Studie ermittelt werden können).

Die Studienergebnisse sind wie folgt:

Stellen Sie fest, ob die Verwendung von Openevidence zu klinisch angemessenen Entscheidungen durch Bewohner im Verlauf der klinischen Praxis in einer Gemeindegesundheit führt.

Bestimmen Sie, wie der Openevidence-Ausgang mit drei weiteren häufig verwendeten, öffentlich verfügbaren Großsprachenmodellen (OpenAIs ChatGPT, Anthropics Claude und Googles Gemini) in Genauigkeit, Vollständigkeit und Voreingenommenheit in der klinischen Praxis in einer Gemeindegesundheit in der Gemeinde-Gesundheitsumgebung im Vergleich zu den öffentlich zugänglichen Großsprachenmodellen (OpenAi) vergleichbar ist.

Methoden:

Die Datenerfassung soll über einen Zeitraum von 6 Monaten stattfinden, um die Verbesserung der Anbieterversion während des Untersuchungszeitraums zu minimieren. Die Bewohner werden durch Spezialitäten in "Medizin" (Innere Medizin/Familienmedizin) und "Psychiatrie" (Erwachsene/Kinderpsychiatrie) gruppiert. Um die Übereinstimmung mit geeigneten Experten für Fachfächer zu vereinfachen, werden die Einwohner von Medikamenten gebeten, Openevidence nur für Fälle von Erwachsenenpflege (mit Ausnahme von OB/GYN-bezogenen Problemen) zu verwenden. Die Bewohner der Psychiatrie werden gebeten, Openevidence nur für Psychiatriefälle für Erwachsene zu verwenden.

Bevor die Auszubildenden als Teilnehmer angenommen wurden, wurden alle gebeten, den folgenden zuzustimmen:

• Überprüfen Sie eine Openevidence -Abfrage gegen ein Goldstandard -Tool, das im Studienprotokoll definiert ist, um PubMed, Uptodat, Dynamed, eine Richtlinie der klinischen Spezialitätsgesellschaft oder eine ähnliche klinische Referenzquelle, die im Studienformular dokumentiert werden müssen, zu umfassen.
• Geben Sie keine persönlichen Gesundheitsinformationen (PHI) in Openevidence ein (wie unten definiert).
• Versuchen Sie, Openevidence mindestens dreimal pro Woche zu verwenden, falls dies für die klinische Versorgung des Patienten geeignet ist.
• Dokumentieren Sie 100% ihrer Openevidence -Abfragen in das Forschungsformular für Studien, um eine Auswahlverzerrung zu vermeiden.

Alle Bewohner erhalten kurz, bevor die Datenerfassung beginnt. Es werden nicht standardisierte Eingaben verwendet, da eine der Unterteile der Studie darin besteht, zu verstehen, welche Arten von Abfragen in einer realen Umgebung Openevidence unterwerfen.

Alle Bewohner werden wie folgt über die Definition von PHI unterrichtet:

Abfragen sollten keine PHI enthalten, wie sie durch die Safe Harbor Identifiers [HHS] definiert sind. Abfragen können das Patientenalter in Jahren (Tage/Wochen/Monate für Pädiatrie) und legaler Sex umfassen. Für Patienten ab 89 Jahren muss der Benutzer stattdessen den Begriff "über 89 Jahre" verwenden, um den sicheren Hafenstandards einzuhalten.

Anfragen sollten keine Patienten einschließen, bei denen vermutet werden, dass sie extrem seltene Erkrankungen haben, die von der Nationalen Organisation wegen seltener Störungen definiert sind, da diese auch anfällig für eine Neuidentifikation sind [Nord]. Wenn eine seltene Bedingung anfänglich nicht vermutet wird, sondern durch den Forschungsprozess der Verwendung des KI -Tools vermutet wird, wird der Benutzer gebeten, seine Abfrage zu diesem Zeitpunkt zu stoppen.

Die Datenerfassung umfasst die Verwendung eines HIPAA-konformen Google-Formulars im CHA-Unternehmen Google Workspace für Health Cloud-Infrastruktur. Das Datenerfassungsformular wird die Auszubildenden erfragen, die Folgendes durchführen:

1. Geben Sie ihre erste klinische Frage ein.
2. Fügen Sie ihre Openevidence -Eingabeaufforderung (nacheinander für iterative Eingabeaufforderungen nummeriert) und die vollständigen Openevidence -Ausgaben ein.
3. Geben Sie ihre klinische Schlussfolgerung anhand der Openevidence -Ausgabe ein.
4. Geben Sie das verwendete Goldstandard -Referenzwerkzeug ein.
5. Geben Sie ihre endgültige klinische Schlussfolgerung an, die sowohl auf Informationen von Openevidence als auch aus dem Goldstandard -Referenzwerkzeug basiert.
6. Beantworten Sie eine Frage zu dem Ausmaß, in dem ihre anfängliche klinische Schlussfolgerung durch die Goldstandardreferenz geändert wurde.
7. Beantworten Sie eine offene Frage, ob sie klinische Sicherheitsprobleme, Ungenauigkeiten oder Verzerrungen der Ausgabe von Openevidence bemerkt haben.

Die Abfragen werden nach Spezialität (Medicine vs. Psychiatry) sortiert, und jede Abfrage erhält eine sequentielle Studiennummer.

Die anwesenden Arzt-Experten (KMU), die in der Inneren Medizin, der Familienmedizin oder der Psychiatrie zertifiziert wurden und mindestens 5 Jahre klinische Erfahrung nach der Ausbildung rekrutiert wurden. Fünf Jahre lang klinische Erfahrungen nach dem Training wurden ausgewählt, da Malcolm Gladwell in seinem Buch Outliers behauptet, dass 10.000 Stunden fokussierter Praxis erforderlich sind, um Fachwissen in einem Bereich zu erreichen.

KMU werden gebeten, die anfänglichen klinischen Fragen der Bewohner und ihre Schlussfolgerungen nur auf Openevidence zu bewerten. Sie werden gebeten, die klinische Angemessenheit dieser Schlussfolgerungen auf einer Likert-Skala von 10 Punkten zu bewerten. Die KMU wird auch mit der Openevidence-Ausgabe für jede Abfrage versorgt, und wenn die KMU die klinische Angemessenheit der Schlussfolgerungen der Bewohner schlecht bewertet (<5/10), wird das KMU zusätzlich eine Nachbeobachtungsfrage gebeten, um zu beurteilen, ob die Ausgabe des Tools selbst eine klinisch unangemessene Antwort erbracht hat, um die Ausgabe des Werkzeugs falsch zu interpretieren. Die KMU-Überprüfung beinhaltet eine Überlappung von 2,5-5% zwischen den Gutachtern, um einen Kappa-Score für die Interrater-Zuverlässigkeit zu berechnen.

In Teil zwei der Studie wird das Forschungsteam die Openevidence -Abfragen in Themen sortieren und eine zufällige Stichprobe von Abfragen aus jeder Spezialität und zum Thema zum Vergleich zwischen LLMs auswählen. Das Forschungsteam bestätigt, dass die Eingabeaufforderungen keinen PHI gemäß dem Studienprotokoll enthalten. Sie kopieren dann die von den Bewohnern eingegebenen Openevidence -Eingaben für die ausgewählten Abfragen und fügen sie genau in Chatgpt, Gemini und Claude ein.

Die Ausgänge jeder der vier Tools (Openevidence, Chatgpt, Gemini und Claude) werden in einem Google -Webform aufgetaucht. KMU werden gebeten, jede Ausgabe auf einer Likert -Skala für Genauigkeit, Vollständigkeit und Verzerrung zu bewerten und eine qualitative Frage zu beantworten, die Probleme bei der Patientensicherheit in der Ausgabe identifiziert.

Ergebnisse:

Die Ergebnisse der primären Ergebnisse werden wie folgt gemeldet:

Klinische Angemessenheit der Entscheidung von Einwohnern, die Openevidence (Mittelwert mit SD, Median) durch Spezialität getroffen haben

• Wenn KMU in Fällen einer geringen klinischen Angemessenheit festgestellt hat, dass dies nicht auf die Ausgabe des Werkzeugs zurückzuführen war, sondern auf die Interpretation des Tools durch den Bewohner, werden auch Metriken mit diesen Fällen ausgeschlossen, die ausgeschlossen sind
• Interrater -Zuverlässigkeit (Kappa -Wert)

Die Ergebnisse der sekundären Ergebnisse werden wie folgt gemeldet:

Für jede Spezialität und jede Variable (Genauigkeit, Vollständigkeit und Voreingenommenheit) berichten die Ermittler:

• Die "Gewinn" -Trate für jede LLM und die durchschnittliche Marge von der zweiten Platte.
• Die Effektgröße (unter Verwendung jeder LLM als separate Referenz) unter Verwendung des Cohen -D -Tests.
• Interrater -Zuverlässigkeit (Kappa -Wert)