Künstliche Intelligenz als Entscheidungsfindungsinstrument in Neurologie

Evaluation Mit KI

Ein Szenario, in dem der Arzt Echtzeit-Empfehlungen nur vom Modell erhält, bevor er die endgültige Entscheidung trifft (die endgültige Entscheidung wird auf der Grundlage des leitenden Oberarztes und des behandelnden Arztes getroffen)

Bewertung ohne KI

Ein Szenario, in dem der Arzt den Empfehlungen des Modells nicht ausgesetzt ist.

Verweildauer in der Notaufnahme

Zeit von der Notaufnahmeregistrierung bis zur Entlassung aus der Notaufnahme oder Aufnahme auf eine Krankenhausstation, mit zusätzlichem Fokus auf die Konsultationszykluszeit.

Kosten für den Betrieb der LLM

Durchschnittliche tägliche Kosten (in USD), um das große Sprachmodell zu betreiben.

Beschreibung:

Dieses Ergebnis misst die direkten Rechen- und Lizenzkosten, die durch die Ausführung des LLM im klinischen Umfeld entstehen.

Maßeinheit: US -Dollar (pro Tag). Wie es bewertet wird: Die täglichen Gesamtausgaben für die LLM (z. B. Wolkenkomputgebühren, Lizenzgebühren) werden erfasst und durch die Gesamtzahl der Patientenbegegnung an diesem Tag geteilt, um die durchschnittlichen Kosten abzuleiten.

Personaleinhaltung der KI

Dieses Ergebnis wird bewerten, wie oft (Compliance) und wie bereitwillig (Akzeptanz-) Ärzte, Bewohner und Krankenschwestern das LLM in förderfähigen klinischen Szenarien verwenden.

Beschreibung: Bestimmt, wie oft Ärzte, Bewohner und Krankenschwestern das LLM für berechtigte Patientenbegegnungen verwenden.

Maßeinheit: Anteil (0,0-1,0) oder Prozent (0-100%) Wie bewertet: verfolgt die Anzahl der Begegnungen, in denen die LLM tatsächlich verwendet wird, geteilt durch die Gesamtzahl der berechtigten Begegnungen. Höhere Prozentsätze zeigen eine höhere Einhaltung an.

Transparenz/Erklärung

Beschreibung: Bewertet, wie klar die Argumentation des LLM an das klinische Personal mitgeteilt wird.

Messeinheit: Bewertung auf einer 5-Punkte-Likert-Skala (1 = überhaupt nicht klar, 5 = extrem klar) wie bewertet: Nach jeder LLM-gesteuerten Entscheidung bewertet der Bewohner oder die Teilnahme an Arzt die Klarheit der Erklärung des Modells. Eine mittlere Punktzahl wird gemeldet. Höhere Werte weisen auf eine bessere Klarheit hin.

Qualität von LLM-generierten klinischen Berichten

Genauigkeits- und Vollständigkeitswert des von LLM generierten klinischen Berichts In diesem Ergebnis wird bewertet, wie genau und umfassend die LLM die klinische Begegnung und den empfohlenen Plan eines Patienten in einem strukturierten Bericht zusammenfasst (z. B. Entlassungsanweisungen, Fortschrittsnotizen).

Einheiten (n) von Maßnahme: Qualitätsbewertung basierend auf einer modifizierten SOAP (subjektiv, objektiv, bewertet, plan) bewertungskala im Bereich von 0 bis 10, wobei höhere Bewertungen eine bessere Dokumentationsqualität anzeigen. Die Punktzahl spiegelt die Einbeziehung der erforderlichen Elemente und die Korrektheit klinischer Details wider.

Bewertungsmethode: Jeder von LLM generierte Bericht wird unabhängig von einem Gremium answerter Ärzte oder geschultem klinischem Personal bewertet. Unter Verwendung einer standardisierten Checkliste bewerten die Gutachter die Vollständigkeit (z. B. Einbeziehung von Symptomen, physikalische Befunde, Diagnose und Plan) und Genauigkeit (z. B. korrekte Medikamente, Identifikationen und Diagnosen) und weisen dann eine Punktzahl basierend auf der vordefinierten Rubrik zu.

Mitarbeiterakzeptanz von KI

Beschreibung: Bewertet, wie bereitwillig Mitarbeiter die LLM in ihren klinischen Workflow integrieren.

Maßeinheit: 5-Punkte-Likert-Skala (1 = stark zustimmen, 5 = stark zustimmen) wie bewertet: Nach jeder LLM-unterstützten Begegnung führen die Mitarbeiter eine kurze Umfrage zur wahrgenommenen Hilfsbereitschaft und der Bereitschaft, die LLM wiederverwendet zu haben. Höhere Werte weisen auf eine größere Akzeptanz hin.

Die Studie ist um vier vordefinierte Ziele herum organisiert:

Ziel 1: LLM-Diagnose- und Behandlungsempfehlungsangemessenheit Angemessenheit der LLM-Empfehlungen, bewertet von erfahrenen Klinikern (1=unangemessen, 5=angemessen) Zeitrahmen: Von der Notaufnahmeregistrierung bis zur Entlassung oder stationären Aufnahme, bis zu 24h Ziel 2: Diagnosegenauigkeitsrate – LLM-unterstützt vs. Standardversorgung Klinische Entscheidungsfindung Anteil korrekter Diagnosen bei LLM-unterstützter vs. Standardversorgung (%), abgeglichen mit der Entlassungsdiagnose Zeitrahmen: Von der Notaufnahmeregistrierung bis zur endgültigen Diagnose, bis zu 24h Ziel 3: Klinikerbewertete Nützlichkeit und Benutzerfreundlichkeit der LLM-Ausgaben – SUS und Likert-Skala Nützlichkeit gemessen über SUS (0-100) und 5-Punkte-Likert-Bewertung, erhoben nach dem Kontakt mit qualitativem Feedback Zeitrahmen: Ende jedes klinischen Kontakts, bis zu 36 Monate Ziel 4: LLM-Retrospective-Benchmark – Prozentuale Übereinstimmung & Cohens Kappa vs. tatsächliche klinische Ergebnisse Übereinstimmung zwischen LLM-Empfehlungen und tatsächlichen Ergebnissen (Diagnose, Disposition, LOS) in anonymisierten Aufzeichnungen Zeitrahmen: Aufzeichnungen bis zu 36 Monate vor Studienbeginn