Prospektive Validierung eines KI-Tools für die präanästhesiologische Beurteilung

Hintergrund:

Die präanästhetische Beurteilung ist ein entscheidender Prozess vor chirurgischen Eingriffen, der eine grundlegende Rolle bei der Sicherung der perioperativen Sicherheit und der Qualität der Versorgung spielt. In den letzten Jahrzehnten haben Anästhesisten erheblich zur Verbesserung der perioperativen Sicherheit und Qualität beigetragen, wie im Bericht des Institute of Medicine zur Qualität der Gesundheitsversorgung hervorgehoben wurde. Diese Bewertung wurde kontinuierlich verfeinert, um die klinischen Ergebnisse zu verbessern und die Kosten unnötiger präoperativer Labortests und Untersuchungen zu senken.

Die Vorteile der präanästhetischen Beurteilung sind gut dokumentiert, einschließlich einer erhöhten operativen Effizienz durch frühzeitige Identifizierung möglicher Komplikationen, Optimierung des präoperativen Managements bei Patienten mit Grunderkrankungen wie Diabetes, kardiopulmonalen Erkrankungen und Niereninsuffizienz sowie Minimierung postoperativer Komplikationen. In Brasilien schreibt die Resolution Nr. 1.802/2006 des Bundesrates für Medizin die präanästhetische Beurteilung als wesentliche Komponente der Patientensicherheit vor und empfiehlt, sie vor der Krankenhausaufnahme für elektive Eingriffe durchzuführen.

Kürzlich hat Brasilien einen Anstieg der Nachfrage nach chirurgischen Eingriffen erlebt, der durch die COVID-19-Pandemie verschärft wurde. Eine Umfrage der Oswaldo Cruz Foundation (Fiocruz) aus dem Jahr 2022 ergab einen Rückstand von 910.621 Operationen im Einheitlichen Gesundheitssystem (SUS), mit erheblichen Defiziten bei Operationen des Verdauungssystems (374.475), urogenitalen Eingriffen (241.752), Eingriffen am Kreislaufsystem (104.925) sowie Operationen der oberen Atemwege, des Gesichts, des Kopfes und des Halses (102.352). Dieser Druck auf das öffentliche Gesundheitssystem führte 2024 zur Einführung des Nationalen Programms zur Reduzierung von Wartelisten durch die brasilianische Bundesregierung. Folglich besteht die Notwendigkeit, den Ablauf und Prozess der präanästhetischen Beurteilungen zu überdenken, um eine sichere und angemessene Versorgung für diese aufgestaute Nachfrage zu gewährleisten.

Mit technologischen Fortschritten und der zunehmenden Menge verfügbarer medizinischer Daten sind klinische Beurteilungen komplexer geworden und erfordern schnellere und präzisere Entscheidungen. In diesem Kontext erweist sich Künstliche Intelligenz (KI) als vielversprechendes Werkzeug zur Transformation der Anästhesiologie, insbesondere bei der präanästhetischen Beurteilung. KI-Werkzeuge, einschließlich Natural Language Processing (NLP) und Large Language Models (LLMs), haben das Potenzial gezeigt, die Genauigkeit, Effizienz und Personalisierung der medizinischen Versorgung zu verbessern.

Jüngste Studien haben die positiven Auswirkungen von KI in diesem Bereich gezeigt. Beispielsweise zeigte NLP zur Überprüfung von Patientenakten und Identifizierung relevanter präoperativer klinischer Informationen eine hohe Übereinstimmung (81,24 %) zwischen maschineller und anästhesiologischer Beurteilung hinsichtlich des Vorhandenseins oder Fehlens von Erkrankungen und identifizierte in 16,6 % der Fälle medizinische Zustände, die vom Anästhesisten übersehen wurden. Personalisierte Entscheidungsunterstützungssysteme, die OWL-Ontologien und semantische Webtechnologien nutzen, haben sich als effektiv bei der Erstellung von Risikobewertungsberichten und maßgeschneiderten klinischen Empfehlungen erwiesen. Maschinelle Lernmodelle zur perioperativen Risikovorhersage ermöglichten die Erstellung individueller Risikoprofile und personalisierter Bewertungen.

Large Language Models (LLMs) wie GPT haben das Potenzial gezeigt, die Patientenkommunikation und -aufklärung während des chirurgischen Prozesses zu verbessern. Eine vergleichende Studie von GPT-Versionen aus dem Jahr 2024 zeigte ihre Fähigkeit, genaue und lesbare Antworten auf anästhesiebezogene Fragen von Patienten zu liefern. Studien zur klinischen Anwendung von KI in der Anästhesiologie mit LLMs sind jedoch nach wie vor rar; ein systematischer Review aus dem Jahr 2023 identifizierte keine Studien, die diese Technologie nutzen. Darüber hinaus wurden die meisten Studien und Entwicklungen in internationalen Kontexten durchgeführt, ohne die portugiesische Sprache oder die Besonderheiten des brasilianischen Gesundheitssystems zu berücksichtigen. Bis heute gibt es keine veröffentlichten Studien zur Entwicklung und Validierung eines LLM-Werkzeugs in Portugiesisch für die präanästhetische Beurteilung, insbesondere unter Berücksichtigung des epidemiologischen Profils und der gesundheitlichen Herausforderungen Brasiliens.

Zusätzlich sind Bedenken hinsichtlich der Zuverlässigkeit von KI-Werkzeugen in der Medizin bemerkenswert. Eine kürzlich in Nature Medicine veröffentlichte Studie zeigte, dass viele von der FDA in den USA zugelassene KI-Geräte keine angemessene klinische Validierung aufweisen. Von 521 zwischen 1995 und 2022 von der FDA autorisierten KI-Geräten berichteten nur 56 % über eine Form der klinischen Validierung, wobei nur 28,4 % prospektiv und 4,2 % durch randomisierte klinische Studien validiert wurden. Bemerkenswerterweise hatten 43,4 % keine öffentlich zugänglichen klinischen Validierungsdaten. Diese Ergebnisse unterstreichen die Bedeutung der Durchführung rigoroser klinischer Validierungsstudien, insbesondere in spezifischen Kontexten, bevor KI-Werkzeuge in der medizinischen Praxis implementiert werden.

Daher schlägt dieses Projekt vor, ein KI-Werkzeug auf Basis eines LLM in Portugiesisch für die präanästhetische Beurteilung in Brasilien in einem klinischen Umfeld zu entwickeln und prospektiv zu validieren. Dies adressiert eine Lücke in der Literatur und erfüllt die spezifischen Bedürfnisse des nationalen Kontexts. Das Ziel ist es, die Genauigkeit, Personalisierung, Zuverlässigkeit und Effizienz präoperativer Bewertungen unter Verwendung fortschrittlicher KI zu verbessern, unter Berücksichtigung der Besonderheiten der brasilianischen Bevölkerung und des Gesundheitssystems. Die Implementierung dieses Werkzeugs könnte potenziell die anästhesiologische Praxis im Land transformieren, eine verbesserte Entscheidungsunterstützung bieten und eine größere chirurgische Sicherheit fördern.

Studienziele:

Primäres Ziel:

• Prospektiv die Genauigkeit und Konsistenz der präanästhetischen Beurteilung durch das KI-Werkzeug im Vergleich zu Beurteilungen durch Anästhesisten in einem nationalen tertiären Krankenhaus zu bewerten.

Sekundäre Ziele:

• Das Ausmaß der Übereinstimmung zwischen der präoperativen Risikobewertung durch das KI-Werkzeug und menschlichen Anästhesisten zu bestimmen, unter Berücksichtigung von Aspekten wie der ASA-Klassifikation (American Society of Anesthesiologists) und validierten chirurgischen Risikomodellen in einem nationalen tertiären Krankenhaus.
• Die Wahrnehmung der Anästhesisten hinsichtlich der Nützlichkeit des KI-Werkzeugs zu untersuchen, einschließlich ihres Vertrauens in die vom Werkzeug generierten Ergebnisse und ihrer Bereitschaft, es in die klinische Praxis zu integrieren.
• Zu bewerten, ob die Nutzung des KI-Werkzeugs die Gesamtqualität der präanästhetischen Beurteilung beeinflusst, einschließlich der Erkennung von Risikobedingungen, die in konventionellen menschlichen Bewertungen unterschätzt oder übersehen werden könnten.
• Zu bewerten, ob Patienten Schwierigkeiten bei der Nutzung des KI-Werkzeugs in einem nationalen tertiären Krankenhaus haben.

Studiendesign:

Dies ist eine prospektive, beobachtende Längsschnitt-Kohortenstudie, die an zwei Zentren durchgeführt wird: dem Anästhesiedienst des Hospital Nossa Senhora da Conceição in Porto Alegre, Brasilien, und der Santa Casa de Ribeirão Preto, Brasilien.

Teilnehmer:

Einschlusskriterien:

• Patienten im Alter von 18 Jahren oder älter.
• Geplant für elektive nicht-kardiale Operationen an beiden Institutionen.

Ausschlusskriterien:

• Patienten, die diagnostische Verfahren mit isolierter Sedierung oder Lokalanästhesie durchführen.
• Wenn ein Patient während desselben Krankenhausaufenthalts mehr als einen chirurgischen Eingriff erhält, wird nur der Haupteingriff berücksichtigt.

Stichprobengröße:

Die Stichprobengröße wurde basierend auf dem primären Ergebnis der Übereinstimmung zwischen KI- und menschlicher präoperativer Risikobewertung unter Verwendung des Cohen's Kappa-Koeffizienten berechnet. Unter der Annahme einer erwarteten Übereinstimmung von 80 % (basierend auf früheren Studien, die etwa 0,80 für perioperative Risikobewertungen zwischen KI und Klinikern zeigen), mit einem Kappa-Wert ≥ 0,70, der als substanzielle Übereinstimmung gilt, einer Fehlermarge von 5 % und einem Konfidenzniveau von 95 %, beträgt die minimale Stichprobengröße etwa 246 Patienten. Unter Berücksichtigung potenzieller Verluste im Follow-up und Ausschlüssen (10 % Marge) beträgt die Gesamtstichprobe 270 Patienten.

Verfahren:

1. Chirurgische Indikation:

   • Der Chirurg bestimmt die chirurgische Indikation des Patienten und dokumentiert den Operationsnamen gemäß dem Verfahrenscode im Ex-Care-Risikomodell.

2. Nutzung des KI-Werkzeugs:

   • Der Chirurg weist den Patienten an, das KI-Werkzeug für die präanästhetische Beurteilung zu nutzen. Der Patient greift auf das Werkzeug zu und vervollständigt die angeforderten Informationen.

3. Verarbeitung der Beurteilung:

   • Das Werkzeug verarbeitet die Beurteilung des Patienten und generiert zwei Arten von Ergebnissen:
   • Generische Orientierungen: Ein Satz allgemeiner Anweisungen, die direkt an den Patienten gesendet werden, um die chirurgische Vorbereitung zu unterstützen.
   • Spezifische Beurteilung: Eine detaillierte Bewertung, einschließlich Empfehlungen und Warnzeichen, die für medizinische Zwecke generiert wird, aber dem Anästhesisten, der die präoperative Bewertung durchführt, nicht zur Verfügung gestellt wird.

4. Präanästhetische Beurteilung:

   • Der Patient unterzieht sich einer traditionellen präanästhetischen Beurteilung durch einen Anästhesisten, der keinen Zugang zur KI-generierten Beurteilung haben wird.

5. Vergleich der Beurteilungen:

   • Ein dritter Anästhesist, der gegenüber dem vorherigen Prozess verblindet ist, wird die beiden Beurteilungen (KI-Werkzeug versus menschliche Bewertung) vergleichen. Dieser Vergleich wird die Qualität der gesammelten Informationen, die Präzision der klinischen Beurteilung und die Identifizierung potenzieller Risiken oder Komplikationen berücksichtigen.

Datenerhebung:

Daten werden prospektiv erhoben, einschließlich Variablen wie Alter, Geschlecht, Operationscode und Ergebnisse beider Beurteilungen (KI-Werkzeug und Anästhesist). Ein Datenerhebungsformular (im Protokoll nach den Referenzen beigefügt) skizziert die in diesem Forschungsprotokoll enthaltenen Variablen.

Ergebnisparameter:

Primärer Endpunkt:

• Übereinstimmung zwischen präoperativen Risikobewertungen durch das KI-Werkzeug und den menschlichen Anästhesisten, hinsichtlich der Qualität der gesammelten Informationen und der klinischen Beurteilung.

Sekundäre Endpunkte:

• Übereinstimmungsniveau bei ASA-Klassifikation und validierten chirurgischen Risikomodellen.
• Wahrnehmung der Anästhesisten hinsichtlich der Nützlichkeit des Werkzeugs, des Vertrauens und des Integrationspotenzials (bewertet via Umfragen).
• Auswirkung auf die Beurteilungsqualität, einschließlich der Erkennung übersehener Risiken.
• Von Patienten berichtete Schwierigkeiten bei der Nutzung des KI-Werkzeugs (bewertet via Feedback).

Statistische Analyse:

Übereinstimmungstests werden verwendet, um die Ergebnisse der präoperativen Risikobewertung zwischen dem KI-Werkzeug und dem Anästhesisten zu vergleichen. Der Cohen's Kappa-Koeffizient wird die Übereinstimmung für kategorische Variablen (Informationsqualität und klinische Beurteilung) messen. Für kontinuierliche Variablen (z. B. Alter) wird der Student's t-Test oder Mann-Whitney-Test angewendet, abhängig von der Datenverteilung (Normalität geprüft via Shapiro-Wilk-Test). Die statistische Signifikanz wird auf P < 0,05 festgelegt.

Zeitplan:

Die Studie wird 36 Monate umfassen: 24 Monate für die Datenerhebung, 6 Monate für die Analyse und 6 Monate für die Ergebnisformulierung und Veröffentlichung.

Finanzierung:

Kosten für Datenerhebungsmaterialien, Computer, Statistiksoftware und Dokumentation werden von den beteiligten Autoren getragen. Budgetdetails umfassen: Ordner für die Aufbewahrung (R$250,00), Datenerhebungsbögen (R$500,00) und Analysesoftware (R$1.000,00).

Verbreitung:

Ergebnisse werden in einer sicheren, vertraulichen Datenbank gespeichert und nach Abschluss zur Veröffentlichung in einer indizierten wissenschaftlichen Zeitschrift eingereicht.