Skrøpelighetsvurdering avdekker kognitive forskjeller i ASA-klassifisering: Anestesileger vs store språkmodeller (ASA-AI)

Denne studien er designet som en prospektiv, observasjonsbasert, komparativ, flervurderingsundersøkelse som evaluerer forskjeller i ASA fysisk status-klassifisering mellom anestesileger og store språkmodeller (LLM-er).

ASA fysisk status-klassifiseringssystemet er et hjørnestein i perioperativ risikovurdering; men det mangler eksplisitt inkorporering av skrøpelighet, et flerdimensjonalt konsept som reflekterer redusert fysiologisk reserve og sårbarhet. I klinisk praksis integrerer anestesileger ofte skrøpelighetsrelatert informasjon implisitt i ASA-vurderinger, noe som potensielt bidrar til variasjon mellom observatører.

Store språkmodeller behandler klinisk informasjon ved hjelp av eksplisitte, strukturerte inndata og er ikke avhengige av erfaring eller intuitiv resonnering. Denne egenskapen gir en unik mulighet til å utforske kognitive forskjeller mellom menneskelige eksperter og kunstig intelligens i kliniske klassifiseringsoppgaver.

Voksne pasienter (≥18 år) planlagt for elektiv kirurgi vil bli inkludert. Akutte tilfeller, pediatriske pasienter og individer med utilstrekkelig klinisk data til å tillate ASA-klassifisering vil bli ekskludert. For hver pasient vil standardisert preoperativ klinisk data bli samlet, inkludert demografiske egenskaper, kroppsmasseindeks, komorbiditeter, vanlige medikamenter og type planlagt kirurgisk inngrep.

ASA fysisk status-klassifisering vil bli uavhengig tildelt av fire spesialister i anestesi med minst fem års klinisk erfaring, samt av to store språkmodeller utviklet av forskjellige organisasjoner. Alle evalueringer vil bli utført ved bruk av det samme standardiserte datasettet, og evaluatører vil være blindet for hverandres vurderinger.

Studien vil bli gjennomført i to sekvensielle faser. I første fase vil ASA-klassifisering bli utført ved bruk av kun standard klinisk data. I andre fase vil en validert skrøpelighetsindeks bli lagt til det samme pasientdatasettet, og evalueringsprosessen vil bli gjentatt. Dette designet vil tillate vurdering av hvordan skrøpelighetsinformasjon påvirker ASA-klassifiseringsbeslutninger i menneskelige og kunstig intelligens-evaluatorer.

Store språkmodeller vil bli promptet ved hjelp av en forhåndsdefinert, standardisert prompt som forblir uendret gjennom hele studien. Modellene vil bli instruert til å generere en enkelt ASA fysisk status-kategori (I-V) uten å gi forklaringer eller tilleggskommentarer, og ingen iterativ prompting eller tilbakemelding vil være tillatt.

Intervurderer-enighet blant anestesileger, mellom kunstig intelligens-modeller, og mellom menneskelige og kunstig intelligens-evaluatorer vil bli analysert ved hjelp av Cohens Kappa og Fleiss' Kappa-statistikk, etter behov. Endringer i ASA-klassifisering etter tillegg av skrøpelighetsinformasjon vil bli evaluert ved bruk av parrede statistiske metoder. Statistisk signifikans vil bli definert som p < 0,05.

Ved å sammenligne ASA-klassifiseringsmønstre mellom anestesileger og store språkmodeller, både med og uten skrøpelighetsdata, har denne studien som mål å avklare rollen til implisitt og eksplisitt resonnering i perioperativ risikovurdering og å bidra til utviklingen av fremtidige kunstig intelligens-assisterte kliniske beslutningsstøttesystemer.