Ocena wątłości ujawnia różnice poznawcze w klasyfikacji ASA: Anestezjolodzy kontra duże modele językowe (ASA-AI)

To badanie zostało zaprojektowane jako prospektywne, obserwacyjne, porównawcze, wielooceniające badanie oceniające różnice w Klasyfikacji Stanu Fizycznego ASA między anestezjologami a dużymi modelami językowymi (LLM).

System Klasyfikacji Stanu Fizycznego ASA jest kamieniem węgielnym oceny ryzyka okołooperacyjnego; jednakże brakuje w nim wyraźnego uwzględnienia słabości, wielowymiarowego pojęcia odzwierciedlającego zmniejszoną rezerwę fizjologiczną i podatność. W praktyce klinicznej anestezjolodzy często włączają informacje związane ze słabością domyślnie do ocen ASA, co potencjalnie przyczynia się do zmienności międzyobserwatorowej.

Duże modele językowe przetwarzają informacje kliniczne przy użyciu wyraźnych, ustrukturyzowanych danych wejściowych i nie polegają na rozumowaniu opartym na doświadczeniu lub intuicji. Ta cecha zapewnia unikalną okazję do zbadania różnic poznawczych między ekspertami ludzkimi a sztuczną inteligencją w zadaniach klasyfikacji klinicznej.

Dorośli pacjenci (≥18 lat) zakwalifikowani do planowej operacji zostaną włączeni. Przypadki nagłe, pacjenci pediatryczni oraz osoby z niewystarczającymi danymi klinicznymi umożliwiającymi klasyfikację ASA zostaną wykluczone. Dla każdego pacjenta zostaną zebrane ustandaryzowane przedoperacyjne dane kliniczne, w tym cechy demograficzne, wskaźnik masy ciała, choroby współistniejące, regularne leki oraz rodzaj planowanej procedury chirurgicznej.

Klasyfikacja Stanu Fizycznego ASA zostanie niezależnie przypisana przez czterech certyfikowanych anestezjologów z co najmniej pięcioletnim doświadczeniem klinicznym, a także przez dwa duże modele językowe opracowane przez różne organizacje. Wszystkie oceny zostaną przeprowadzone przy użyciu tego samego ustandaryzowanego zestawu danych, a oceniający nie będą wiedzieć o ocenach innych.

Badanie zostanie przeprowadzone w dwóch kolejnych fazach. W pierwszej fazie klasyfikacja ASA zostanie wykonana przy użyciu wyłącznie standardowych danych klinicznych. W drugiej fazie do tego samego zestawu danych pacjentów zostanie dodany zwalidowany wskaźnik słabości, a proces oceny zostanie powtórzony. To zaprojektowanie pozwoli ocenić, jak informacje o słabości wpływają na decyzje klasyfikacji ASA u ludzkich i sztucznej inteligencji oceniających.

Duże modele językowe będą inicjowane przy użyciu wstępnie zdefiniowanego, ustandaryzowanego polecenia, które pozostaje niezmienione przez całe badanie. Modele zostaną poinstruowane, aby wygenerować jedną kategorię Stanu Fizycznego ASA (I-V) bez podawania wyjaśnień lub dodatkowych komentarzy, a iteracyjne inicjowanie lub informacje zwrotne nie będą dozwolone.

Zgodność międzyoceniającą wśród anestezjologów, między modelami sztucznej inteligencji oraz między ludzkimi a sztucznymi oceniającymi zostanie przeanalizowana przy użyciu statystyk Kappa Cohena i Fleissa, w zależności od potrzeby. Zmiany w klasyfikacji ASA po dodaniu informacji o słabości zostaną ocenione przy użyciu sparowanych metod statystycznych. Istotność statystyczna zostanie zdefiniowana jako p < 0,05.

Porównując wzorce klasyfikacji ASA między anestezjologami a dużymi modelami językowymi, zarówno z danymi o słabości, jak i bez nich, to badanie ma na celu wyjaśnienie roli domyślnego i wyraźnego rozumowania w ocenie ryzyka okołooperacyjnego oraz przyczynienie się do rozwoju przyszłych systemów wsparcia decyzji klinicznych wspomaganych przez sztuczną inteligencję.