Prospektiv validering af et kunstig intelligens-værktøj til præanæstetisk vurdering

Baggrund:

Den præanæstetiske vurdering er en kritisk proces før kirurgiske indgreb, der spiller en grundlæggende rolle i at sikre perioperativ sikkerhed og kvalitet af plejen. I de seneste årtier har anæstesiologer bidraget væsentligt til at forbedre perioperativ sikkerhed og kvalitet, som fremhævet i Institute of Medicines rapport om kvalitet af sundhedspleje. Denne evaluering er blevet løbende forfinet for at forbedre kliniske resultater og reducere omkostninger forbundet med unødvendige præoperative laboratorietests og undersøgelser.

Fordelene ved præanæstetisk vurdering er veldokumenterede, herunder øget operationseffektivitet gennem tidlig identifikation af potentielle komplikationer, optimering af præoperativ behandling for patienter med underliggende tilstande såsom diabetes, kardiopulmonale sygdomme og nyreinsufficiens, og minimering af postoperative komplikationer. I Brasilien foreskriver Federal Council of Medicines Resolution No. 1.802/2006 præanæstetisk evaluering som en essentiel komponent for patientsikkerhed og anbefaler, at den udføres før hospitalsindlæggelse for elektive indgreb.

For nylig har Brasilien oplevet en stigning i efterspørgslen efter kirurgiske indgreb, forværret af COVID-19-pandemien. En undersøgelse fra 2022 af Oswaldo Cruz Foundation (Fiocruz) afslørede en efterslæb på 910.621 operationer i Unified Health System (SUS), med betydelige underskud i fordøjelsessystemets operationer (374.475), urogenitale procedurer (241.752), cirkulationssystemets indgreb (104.925) og operationer i de øvre luftveje, ansigt, hoved og hals (102.352). Dette pres på det offentlige sundhedssystem førte til lanceringen af National Program for Reducing Waiting Lists i 2024 af den brasilianske føderale regering. Der er derfor behov for at genoverveje flowet og processen for præanæstetiske vurderinger for at sikre sikker og tilstrækkelig pleje til denne ophobede efterspørgsel.

Med teknologiske fremskridt og den stigende mængde af tilgængelige medicinske data er kliniske evalueringer blevet mere komplekse og kræver hurtigere og mere præcise beslutninger. I denne sammenhæng fremstår kunstig intelligens (AI) som et lovende værktøj til at transformere anæstesiologi, især i præanæstetisk vurdering. AI-værktøjer, herunder Natural Language Processing (NLP) og Large Language Models (LLMs), har vist potentiale til at forbedre nøjagtighed, effektivitet og personalisering af medicinsk pleje.

Nylige studier har demonstreret den positive effekt af AI på dette område. For eksempel har NLP til gennemgang af medicinske journaler og identifikation af relevant præoperativ klinisk information vist høj overensstemmelse (81,24%) mellem maskine- og anæstesiologvurderinger vedrørende tilstedeværelse eller fravær af tilstande, og den identificerede medicinske tilstande i 16,6% af tilfældene, som anæstesiologen overså. Personlige beslutningsstøttesystemer, der bruger OWL-ontologier og semantiske web-teknologier, har vist sig effektive til at generere risikovurderingsrapporter og tilpassede kliniske anbefalinger. Maskinlæringsmodeller til perioperativ risikoprædiktion har muliggjort oprettelse af individuelle risikoprofiler og personlige vurderinger.

Large Language Models (LLMs), såsom GPT, har vist potentiale til at forbedre patientkommunikation og -uddannelse under den kirurgiske rejse. Et komparativt studie fra 2024 af GPT-versioner indikerede dens evne til at give præcise og læselige svar til patienter om anæstesirelaterede spørgsmål. Dog er studier om den kliniske anvendelse af AI i anæstesiologi, der involverer LLMs, stadig få; en systematisk gennemgang fra 2023 identificerede ingen studier, der brugte denne teknologi. Desuden er de fleste studier og udviklinger blevet udført i internationale sammenhænge og adresserer ikke det portugisiske sprog eller de specifikke forhold i det brasilianske sundhedssystem. Indtil nu findes der ingen publicerede studier om udvikling og validering af et LLM-værktøj på portugisisk til præanæstetisk vurdering, især med hensyn til Brasiliens epidemiologiske profil og sundhedsudfordringer.

Derudover er bekymringer om pålideligheden af AI-værktøjer i medicinen bemærkelsesværdige. Et nyligt studie publiceret i Nature Medicine afslørede, at mange AI-enheder godkendt af FDA i USA mangler tilstrækkelig klinisk validering. Af 521 FDA-godkendte AI-enheder mellem 1995 og 2022 rapporterede kun 56% en form for klinisk validering, med kun 28,4% valideret prospektivt og 4,2% gennem randomiserede kliniske forsøg. Bemærkelsesværdigt havde 43,4% ingen offentligt tilgængelige kliniske valideringsdata. Disse resultater understreger vigtigheden af at udføre strenge kliniske valideringsstudier, især i specifikke sammenhænge, før implementering af AI-værktøjer i medicinsk praksis.

Derfor foreslår dette projekt at udvikle og prospektivt validere et AI-værktøj baseret på en LLM på portugisisk til præanæstetisk vurdering i Brasilien i en klinisk sammenhæng. Dette adresserer et hul i litteraturen og imødekommer de specifikke behov i den nationale kontekst. Målet er at forbedre nøjagtigheden, personaliseringen, pålideligheden og effektiviteten af præoperative evalueringer ved brug af avanceret AI, under hensyntagen til de særegne forhold i den brasilianske befolkning og sundhedssystem. Implementering af dette værktøj kunne potentielt transformere anæstesiologipraksis i landet, give forbedret beslutningsstøtte og fremme større kirurgisk sikkerhed.

Studiets mål:

Primært mål:

- At prospektivt evaluere nøjagtigheden og konsistensen af den præanæstetiske vurdering udført af AI-værktøjet sammenlignet med vurderinger udført af anæstesiologer på et nationalt tertiært hospital.

Sekundære mål:

• At bestemme overensstemmelsesniveauet mellem den præoperative risikovurdering udført af AI-værktøjet og menneskelige anæstesiologer, under hensyntagen til aspekter såsom American Society of Anesthesiologists (ASA) klassifikation og validerede kirurgiske risikomodeller på et nationalt tertiært hospital.
• At undersøge anæstesiologers opfattelse af AI-værktøjets anvendelighed, herunder deres tillid til resultaterne genereret af værktøjet og deres villighed til at integrere det i klinisk praksis.
• At vurdere, om brugen af AI-værktøjet påvirker den samlede kvalitet af den præanæstetiske vurdering, herunder detektion af risikotilstande, der kan være undervurderet eller overset i konventionelle menneskelige evalueringer.
• At evaluere eventuelle vanskeligheder, patienter oplever ved brug af AI-værktøjet på et nationalt tertiært hospital.

Studiedesign:

Dette er et prospektivt observationslængdesnittsstudie udført på to centre, Anæstesitjenesten på Hospital Nossa Senhora da Conceição i Porto Alegre, Brasilien og Santa Casa de Ribeirão Preto, Brasilien.

Deltagere:

Inklusionskriterier:

• Patienter på 18 år eller ældre.
• Planlagt til elektive ikke-hjertekirurgiske indgreb på begge institutioner.

Eksklusionskriterier:

• Patienter, der gennemgår diagnostiske procedurer med isoleret sedation eller lokalbedøvelse.
• Hvis en patient gennemgår mere end et kirurgisk indgreb under samme hospitalsindlæggelse, vil kun hovedproceduren blive betragtet.

Stikprøvestørrelse:

Stikprøvestørrelsen blev beregnet baseret på det primære resultat af overensstemmelse mellem AI og menneskelige præoperative risikovurderinger ved brug af Cohens Kappa-koefficient. Antaget en forventet overensstemmelse på 80% (baseret på tidligere studier, der viser omkring 0,80 for perioperative risikovurderinger mellem AI og klinikere), med en Kappa-værdi ≥ 0,70 betragtet som væsentlig overensstemmelse, en fejlmargin på 5% og et 95% konfidensniveau, er den minimale stikprøvestørrelse cirka 246 patienter. Med hensyntagen til potentielle tab til opfølgning og eksklusioner (10% margin), vil den samlede stikprøve være 270 patienter.

Procedurer:

1. Kirurgisk indikation:

   • Kirurgen fastlægger patientens kirurgiske indikation og registrerer operationsnavnet i henhold til procedurekoden i Ex-Care risikomodellen.

2. Brug af AI-værktøjet:

   • Kirurgen instruerer patienten i at bruge AI-værktøjet til præanæstetisk vurdering. Patienten får adgang til værktøjet og udfylder de anmodede oplysninger.

3. Behandling af vurderingen:

   • Værktøjet behandler patientens vurdering og genererer to typer resultater:
   • Generelle retningslinjer: Et sæt generelle instruktioner sendt direkte til patienten for at hjælpe med kirurgisk forberedelse.
   • Specifik vurdering: En detaljeret evaluering, herunder anbefalinger og advarselstegn, genereret til medicinsk brug, men ikke gjort tilgængelig for anæstesiologen, der udfører den præoperative evaluering.

4. Præanæstetisk evaluering:

   • Patienten gennemgår en traditionel præanæstetisk evaluering af en anæstesiolog, som ikke vil have adgang til den AI-genererede vurdering.

5. Sammenligning af vurderinger:

   • En tredje anæstesiolog, blind for den foregående proces, vil sammenligne de to vurderinger (AI-værktøj versus menneskelig evaluering). Denne sammenligning vil overveje kvaliteten af indsamlede oplysninger, præcisionen af den kliniske vurdering og identifikation af potentielle risici eller komplikationer.

Dataindsamling:

Data indsamles prospektivt, herunder variable såsom alder, køn, operationskode og resultater fra begge vurderinger (AI-værktøj og anæstesiolog). En dataindsamlingsformular (vedhæftet i protokollen efter referencer) skitserer variablerne inkluderet i denne forskningsprotokol.

Resultatmål:

Primært resultat:

- Overensstemmelse mellem præoperative risikovurderinger af AI-værktøjet og den menneskelige anæstesiolog, med hensyn til kvaliteten af indsamlede oplysninger og klinisk vurdering.

Sekundære resultater:

• Overensstemmelsesniveau for ASA-klassifikation og validerede kirurgiske risikomodeller.
• Anæstesiologers opfattelse af værktøjets anvendelighed, tillid og integrationspotentiale (vurderet via spørgeskemaer).
• Påvirkning af vurderingskvalitet, herunder detektion af oversete risici.
• Patientrapporterede vanskeligheder ved brug af AI-værktøjet (vurderet via feedback).

Statistisk analyse:

Overensstemmelsestests vil blive brugt til at sammenligne præoperative risikovurderingsresultater mellem AI-værktøjet og anæstesiolog. Cohens Kappa-koefficient vil måle enighed for kategoriske variable (informationskvalitet og klinisk vurdering). For kontinuerte variable (f.eks. alder) vil Students t-test eller Mann-Whitney test blive anvendt, afhængigt af datadistribution (normalitet kontrolleret via Shapiro-Wilk test). Statistisk signifikans vil være sat til P < 0,05.

Tidsplan:

Studiet vil spænde over 36 måneder: 24 måneder til dataindsamling, 6 måneder til analyse og 6 måneder til resultatformulering og publicering.

Finansiering:

Omkostninger til dataindsamlingsmaterialer, computere, statistisk software og dokumentation vil blive dækket af de involverede forfattere. Budgetdetaljer inkluderer: mapper til opbevaring (R$250,00), dataindsamlingsark (R$500,00) og analysesoftware (R$1.000,00).

Formidling:

Resultater vil blive opbevaret i en sikker, fortrolig database og indsendt til publicering i et indekseret videnskabeligt tidsskrift efter afslutning.