Prospektiv validering av et kunstig intelligensverktøy for preanestetisk vurdering

Bakgrunn:

Den pre-anestetiske vurderingen er en kritisk prosess før kirurgiske inngrep, og spiller en grunnleggende rolle for å sikre perioperativ sikkerhet og kvalitet på behandlingen. I løpet av de siste tiårene har anestesileger bidratt betydelig til å forbedre perioperativ sikkerhet og kvalitet, som fremhevet i Institute of Medicines rapport om helsetjenestekvalitet. Denne evalueringen har blitt kontinuerlig forbedret for å forbedre kliniske resultater og redusere kostnader knyttet til unødvendige preoperativ laboratorieprøver og undersøkelser.

Fordelene med pre-anestetisk vurdering er godt dokumentert, inkludert økt operasjonseffektivitet gjennom tidlig identifisering av potensielle komplikasjoner, optimalisering av preoperativ behandling for pasienter med underliggende tilstander som diabetes, kardiopulmonale sykdommer og nyresvikt, og minimering av postoperative komplikasjoner. I Brasil krever Federal Council of Medicines resolusjon nr. 1.802/2006 pre-anestetisk evaluering som en essensiell komponent for pasientsikkerhet, og anbefaler at den utføres før innleggelse for elektive inngrep.

Nylig har Brasil opplevd en økning i etterspørselen etter kirurgiske inngrep, forverret av COVID-19-pandemien. En undersøkelse fra 2022 av Oswaldo Cruz Foundation (Fiocruz) avslørte en etterslep på 910 621 operasjoner i Unified Health System (SUS), med betydelige underskudd i fordøyelsessystemoperasjoner (374 475), genitourinære inngrep (241 752), sirkulasjonssystemintervensjoner (104 925) og operasjoner i øvre luftveier, ansikt, hode og hals (102 352). Dette presset på det offentlige helsevesenet førte til lanseringen av National Program for Reducing Waiting Lists i 2024 av den brasilianske føderale regjeringen. Følgelig er det behov for å revurdere flyten og prosessen for pre-anestetiske vurderinger for å sikre trygg og tilstrekkelig behandling for denne oppsamlede etterspørselen.

Med teknologiske fremskritt og økende mengde tilgjengelige medisinske data har kliniske evalueringer blitt mer komplekse, og krever raskere og mer presise beslutninger. I denne sammenhengen dukker kunstig intelligens (AI) opp som et lovende verktøy for å transformere anestesiologi, spesielt i pre-anestetisk vurdering. AI-verktøy, inkludert Natural Language Processing (NLP) og Large Language Models (LLMs), har vist potensiale til å forbedre nøyaktighet, effektivitet og personalisering av medisinsk behandling.

Nylige studier har demonstrert den positive effekten av AI på dette området. For eksempel har NLP for gjennomgang av medisinske journaler og identifisering av relevant preoperativ klinisk informasjon vist høy samsvar (81,24 %) mellom maskin- og anestesilegevurderinger angående tilstedeværelse eller fravær av tilstander, og den identifiserte medisinske tilstander i 16,6 % av tilfellene som ble oversett av anestesilegen. Personaliserte beslutningsstøttesystemer som bruker OWL-ontologier og semantiske web-teknologier har vist seg effektive for å generere risikovurderingsrapporter og tilpassede kliniske anbefalinger. Maskinlæringsmodeller for perioperativ risikoprediksjon har muliggjort opprettelse av individuelle risikoprofiler og personaliserte vurderinger.

Large Language Models (LLMs), som GPT, har vist potensiale til å forbedre pasientkommunikasjon og -utdanning under den kirurgiske reisen. En komparativ studie fra 2024 av GPT-versjoner indikerte dens evne til å gi nøyaktige og lesbare svar til pasienter på spørsmål relatert til anestesi. Imidlertid er studier om klinisk anvendelse av AI i anestesiologi som involverer LLMs fortsatt knappe; en systematisk gjennomgang fra 2023 identifiserte ingen studier som brukte denne teknologien. Videre har de fleste studier og utviklinger blitt utført i internasjonale sammenhenger, uten å adressere portugisisk språk eller spesifikasjonene i det brasilianske helsevesenet. Til dags dato finnes det ingen publiserte studier om utvikling og validering av et LLM-verktøy på portugisisk for pre-anestetisk vurdering, spesielt med tanke på Brasils epidemiologiske profil og helseutfordringer.

I tillegg er bekymringer om påliteligheten til AI-verktøy i medisin bemerkelsesverdige. En nylig studie publisert i Nature Medicine avslørte at mange AI-enheter godkjent av FDA i USA mangler tilstrekkelig klinisk validering. Av 521 FDA-godkjente AI-enheter mellom 1995 og 2022 rapporterte kun 56 % en form for klinisk validering, med bare 28,4 % validert prospektivt og 4,2 % gjennom randomiserte kliniske studier. Betydelig nok hadde 43,4 % ingen offentlig tilgjengelige kliniske valideringsdata. Disse funnene understreker viktigheten av å utføre strenge kliniske valideringsstudier, spesielt i spesifikke sammenhenger, før AI-verktøy implementeres i medisinsk praksis.

Derfor foreslår dette prosjektet å utvikle og prospektivt validere et AI-verktøy basert på en LLM på portugisisk for pre-anestetisk vurdering i Brasil, i en klinisk setting. Dette adresserer et gap i litteraturen og møter de spesifikke behovene i den nasjonale konteksten. Målet er å forbedre nøyaktigheten, personaliseringen, påliteligheten og effektiviteten til preoperativ evaluering ved bruk av avansert AI, med tanke på særegenhetene til den brasilianske befolkningen og helsevesenet. Implementering av dette verktøyet kan potensielt transformere anestesiologipraksis i landet, gi forbedret beslutningsstøtte og fremme større kirurgisk sikkerhet.

Studiemål:

Primært mål:

- Å prospektivt evaluere nøyaktigheten og konsistensen til den pre-anestetiske vurderingen utført av AI-verktøyet sammenlignet med vurderinger utført av anestesileger på et nasjonalt tertiært sykehus.

Sekundære mål:

• Å fastslå samsvarsnivået mellom den preoperativ risikovurderingen utført av AI-verktøyet og menneskelige anestesileger, med tanke på aspekter som American Society of Anesthesiologists (ASA)-klassifisering og validerte kirurgiske risikomodeller på et nasjonalt tertiært sykehus.
• Å undersøke anestesilegers oppfatninger av AI-verktøyets nytte, inkludert deres tillit til resultatene generert av verktøyet og deres vilje til å integrere det i klinisk praksis.
• Å vurdere om bruken av AI-verktøyet påvirker den generelle kvaliteten på den pre-anestetiske vurderingen, inkludert deteksjon av risikotilstander som kan være undervurdert eller oversett i konvensjonelle menneskelige evalueringer.
• Å evaluere eventuelle vanskeligheter pasienter møter ved bruk av AI-verktøyet på et nasjonalt tertiært sykehus.

Studiedesign:

Dette er en prospektiv observasjonell longitudinal kohortstudie utført på to sentre, Anesthesia Service of Hospital Nossa Senhora da Conceição i Porto Alegre, Brasil og Santa Casa de Ribeirão Preto, Brasil.

Deltakere:

Inklusjonskriterier:

• Pasienter 18 år eller eldre.
• Planlagt for elektive ikke-hjertekirurgiske inngrep på begge institusjoner.

Eksklusjonskriterier:

• Pasienter som gjennomgår diagnostiske prosedyrer med isolert sedering eller lokalbedøvelse.
• Hvis en pasient gjennomgår mer enn ett kirurgisk inngrep under samme innleggelse, vil kun hovedprosedyren bli vurdert.

Utvalgsstørrelse:

Utvalgsstørrelsen ble beregnet basert på det primære utfallet av samsvar mellom AI og menneskelig preoperativ risikovurdering ved bruk av Cohens Kappa-koeffisient. Forutsatt et forventet samsvar på 80 % (basert på tidligere studier som viser rundt 0,80 for perioperativ risikovurdering mellom AI og klinikere), med en Kappa-verdi ≥ 0,70 ansett som betydelig samsvar, en feilmargin på 5 % og et 95 % konfidensnivå, er minimumsutvalgsstørrelsen omtrent 246 pasienter. Med tanke på potensielle tap til oppfølging og eksklusjoner (10 % margin), vil det totale utvalget være 270 pasienter.

Prosedyrer:

1. Kirurgisk indikasjon:

   • Kirurgen bestemmer pasientens kirurgiske indikasjon og registrerer operasjonsnavnet i henhold til prosedyrekoden i Ex-Care-risikomodellen.

2. Bruk av AI-verktøyet:

   • Kirurgen instruerer pasienten om å bruke AI-verktøyet for pre-anestetisk vurdering. Pasienten får tilgang til verktøyet og fullfører den etterspurte informasjonen.

3. Behandling av vurderingen:

   • Verktøyet behandler pasientens vurdering og genererer to typer resultater:
   • Generelle retningslinjer: Et sett med generelle instruksjoner sendt direkte til pasienten for å hjelpe med kirurgisk forberedelse.
   • Spesifikk vurdering: En detaljert evaluering, inkludert anbefalinger og advarselstegn, generert for medisinsk bruk, men ikke gjort tilgjengelig for anestesilegen som utfører den preoperativ evalueringen.

4. Pre-anestetisk evaluering:

   • Pasienten gjennomgår en tradisjonell pre-anestetisk evaluering av en anestesilege, som ikke vil ha tilgang til AI-generert vurdering.

5. Sammenligning av vurderinger:

   • En tredje anestesilege, blind for den tidligere prosessen, vil sammenligne de to vurderingene (AI-verktøy kontra menneskelig evaluering). Denne sammenligningen vil ta hensyn til kvaliteten på innsamlet informasjon, presisjonen i klinisk vurdering og identifisering av potensielle risikoer eller komplikasjoner.

Datainnsamling:

Data vil bli samlet inn prospektivt, inkludert variabler som alder, kjønn, operasjonskode og resultater fra begge vurderinger (AI-verktøy og anestesilege). Et datainnsamlingsskjema (vedlagt i protokollen etter referanser) beskriver variablene inkludert i denne forskningsprotokollen.

Utfallsmål:

Primært utfall:

- Samsvar mellom preoperativ risikovurderinger av AI-verktøyet og den menneskelige anestesilegen, med hensyn til kvaliteten på innsamlet informasjon og klinisk vurdering.

Sekundære utfall:

• Nivå av enighet om ASA-klassifisering og validerte kirurgiske risikomodeller.
• Anestesilegers oppfatninger av verktøyets nytte, tillit og integreringspotensial (vurdert via spørreundersøkelser).
• Påvirkning på vurderingskvalitet, inkludert deteksjon av oversett risiko.
• Pasientrapporterte vanskeligheter med å bruke AI-verktøyet (vurdert via tilbakemeldinger).

Statistisk analyse:

Samsvarstester vil bli brukt til å sammenligne preoperativ risikovurderingsresultater mellom AI-verktøyet og anestesilegen. Cohens Kappa-koeffisient vil måle enighet for kategoriske variabler (informasjonskvalitet og klinisk vurdering). For kontinuerlige variabler (f.eks. alder) vil Students t-test eller Mann-Whitney-test bli brukt, avhengig av datadistribusjon (normalitet sjekket via Shapiro-Wilk-test). Statistisk signifikans vil være satt til P < 0,05.

Tidslinje:

Studien vil vare i 36 måneder: 24 måneder for datainnsamling, 6 måneder for analyse og 6 måneder for resultatformulering og publisering.

Finansiering:

Kostnader for datainnsamlingsmaterialer, datamaskiner, statistisk programvare og dokumentasjon vil bli dekket av de involverte forfatterne. Budsjettdetaljer inkluderer: mapper for lagring (R$250,00), datainnsamlingsark (R$500,00) og analyseprogramvare (R$1 000,00).

Spredning:

Resultater vil bli lagret i en sikker, konfidensiell database og sendt inn for publisering i et indeksert vitenskapelig tidsskrift ved fullføring.