Gebrechlichkeitsbewertung zeigt kognitive Unterschiede in der ASA-Klassifizierung: Anästhesisten vs. große Sprachmodelle (ASA-AI)

Diese Studie ist als prospektive, beobachtende, vergleichende Multirater-Untersuchung konzipiert, die Unterschiede in der ASA-Physical-Status-Klassifizierung zwischen Anästhesisten und großen Sprachmodellen (LLMs) evaluiert.

Das ASA-Physical-Status-Klassifizierungssystem ist ein Eckpfeiler der perioperativen Risikobewertung; jedoch fehlt die explizite Einbeziehung von Gebrechlichkeit, einem multidimensionalen Konzept, das eine reduzierte physiologische Reserve und Verwundbarkeit widerspiegelt. In der klinischen Praxis integrieren Anästhesisten gebrechlichkeitsbezogene Informationen oft implizit in ASA-Bewertungen, was möglicherweise zur Interobserver-Variabilität beiträgt.

Große Sprachmodelle verarbeiten klinische Informationen mithilfe expliziter, strukturierter Eingaben und stützen sich nicht auf erfahrungsbasiertes oder intuitives Denken. Diese Eigenschaft bietet eine einzigartige Gelegenheit, kognitive Unterschiede zwischen menschlichen Experten und künstlicher Intelligenz bei klinischen Klassifizierungsaufgaben zu untersuchen.

Erwachsene Patienten (≥18 Jahre), die für eine elektive Operation vorgesehen sind, werden eingeschlossen. Notfälle, pädiatrische Patienten und Personen mit unzureichenden klinischen Daten für eine ASA-Klassifizierung werden ausgeschlossen. Für jeden Patienten werden standardisierte präoperative klinische Daten erhoben, einschließlich demografischer Merkmale, Body-Mass-Index, Komorbiditäten, regelmäßiger Medikation und Art des geplanten chirurgischen Eingriffs.

Die ASA-Physical-Status-Klassifizierung wird unabhängig von vier fachärztlich zertifizierten Anästhesisten mit mindestens fünf Jahren klinischer Erfahrung sowie von zwei großen Sprachmodellen verschiedener Organisationen vergeben. Alle Bewertungen werden mit demselben standardisierten Datensatz durchgeführt, und die Bewerter werden gegenüber den Bewertungen der anderen geblindet sein.

Die Studie wird in zwei aufeinanderfolgenden Phasen durchgeführt. In der ersten Phase wird die ASA-Klassifizierung ausschließlich mit standardmäßigen klinischen Daten durchgeführt. In der zweiten Phase wird ein validierter Gebrechlichkeitsindex zum gleichen Patientendatensatz hinzugefügt und der Bewertungsprozess wiederholt. Dieses Design ermöglicht die Bewertung, wie Gebrechlichkeitsinformationen ASA-Klassifizierungsentscheidungen bei menschlichen und künstlichen Intelligenz-Bewertern beeinflussen.

Große Sprachmodelle werden mit einer vordefinierten, standardisierten Aufforderung angestoßen, die während der gesamten Studie unverändert bleibt. Den Modellen wird angewiesen, eine einzige ASA-Physical-Status-Kategorie (I-V) zu generieren, ohne Erklärungen oder zusätzliche Kommentare abzugeben, und es sind keine iterativen Aufforderungen oder Rückmeldungen erlaubt.

Die Interrater-Übereinstimmung zwischen Anästhesisten, zwischen künstlichen Intelligenzmodellen sowie zwischen menschlichen und künstlichen Intelligenz-Bewertern wird mithilfe von Cohens Kappa und Fleiss' Kappa-Statistiken analysiert, sofern angemessen. Änderungen in der ASA-Klassifizierung nach Hinzufügen der Gebrechlichkeitsinformationen werden mithilfe gepaarter statistischer Methoden bewertet. Statistische Signifikanz wird als p < 0,05 definiert.

Durch den Vergleich von ASA-Klassifizierungsmustern zwischen Anästhesisten und großen Sprachmodellen, sowohl mit als auch ohne Gebrechlichkeitsdaten, zielt diese Studie darauf ab, die Rolle von implizitem und explizitem Denken in der perioperativen Risikobewertung zu klären und zur Entwicklung zukünftiger KI-gestützter klinischer Entscheidungsunterstützungssysteme beizutragen.