Svaghedsvurdering afslører kognitive forskelle i ASA-klassifikation: Anæstesilæger vs. store sprogmodeller (ASA-AI)

Denne undersøgelse er designet som en prospektiv, observationel, komparativ, flervurderingsundersøgelse, der evaluerer forskelle i ASA fysisk statusklassifikation mellem anæstesilæger og store sprogmodeller (LLMs).

ASA fysisk statusklassifikationssystemet er et hjørnesten i perioperativ risikovurdering; det inkorporerer dog ikke eksplicit skrøbelighed, et multidimensionelt koncept, der afspejler nedsat fysiologisk reserve og sårbarhed. I klinisk praksis integrerer anæstesilæger ofte skrøbelighedsrelateret information implicit i ASA-vurderinger, hvilket potentielt bidrager til interobservatørvariabilitet.

Store sprogmodeller behandler klinisk information ved hjælp af eksplicitte, strukturede input og er ikke afhængige af erfaring eller intuitiv ræsonnering. Denne karakteristik giver en unik mulighed for at udforske kognitive forskelle mellem menneskelige eksperter og kunstig intelligens i kliniske klassifikationsopgaver.

Voksne patienter (≥18 år) planlagt til elektiv kirurgi vil blive inkluderet. Akutte tilfælde, pædiatriske patienter og personer med utilstrækkelige kliniske data til at tillade ASA-klassifikation vil blive ekskluderet. For hver patient vil standardiserede præoperative kliniske data blive indsamlet, herunder demografiske karakteristika, body mass index, komorbiditeter, regelmæssig medicin og type af planlagt kirurgisk procedure.

ASA fysisk statusklassifikation vil blive tildelt uafhængigt af fire speciallæger i anæstesi med mindst fem års klinisk erfaring, samt af to store sprogmodeller udviklet af forskellige organisationer. Alle evalueringer vil blive udført ved hjælp af det samme standardiserede datasæt, og evaluatorer vil være blindet for hinandens vurderinger.

Undersøgelsen vil blive gennemført i to sekventielle faser. I den første fase vil ASA-klassifikation blive udført ved hjælp af alene standard kliniske data. I den anden fase vil en valideret skrøbelighedsindeks blive tilføjet til det samme patientdatasæt, og evalueringsprocessen vil blive gentaget. Dette design vil muliggøre vurdering af, hvordan skrøbelighedsinformation påvirker ASA-klassifikationsbeslutninger i menneskelige og kunstig intelligens evaluatorer.

Store sprogmodeller vil blive promptet ved hjælp af en foruddefineret, standardiseret prompt, der forbliver uændret gennem hele undersøgelsen. Modellerne vil blive instrueret i at generere en enkelt ASA fysisk statuskategori (I-V) uden at give forklaringer eller yderligere kommentarer, og ingen iterativ prompting eller feedback vil være tilladt.

Intervurdereroverensstemmelse blandt anæstesilæger, mellem kunstig intelligens-modeller og mellem menneskelige og kunstig intelligens evaluatorer vil blive analyseret ved hjælp af Cohens Kappa og Fleiss' Kappa-statistik, som relevant. Ændringer i ASA-klassifikation efter tilføjelsen af skrøbelighedsinformation vil blive evalueret ved hjælp af parrede statistiske metoder. Statistisk signifikans vil blive defineret som p < 0,05.

Ved at sammenligne ASA-klassifikationsmønstre mellem anæstesilæger og store sprogmodeller, både med og uden skrøbelighedsdata, sigter denne undersøgelse mod at afklare rollen af implicit og eksplicit ræsonnering i perioperativ risikovurdering og at bidrage til udviklingen af fremtidige kunstig intelligens-assisterede kliniske beslutningsstøttesystemer.