Prospektiv validering av ett artificiellt intelligensverktyg för preanestetisk bedömning

Bakgrund:

Den förnarkosbedömning är en kritisk process före kirurgiska ingrepp, som spelar en grundläggande roll för att säkerställa perioperativ säkerhet och kvalitet på vård. Under de senaste decennierna har anestesiologer bidragit betydligt till att förbättra perioperativ säkerhet och kvalitet, som framhålls i Institute of Medicines rapport om hälso- och sjukvårdens kvalitet. Denna utvärdering har ständigt förfinats för att förbättra kliniska utfall och minska kostnader förknippade med onödiga preoperativa laboratorieprov och undersökningar.

Fördelarna med förnarkosbedömning är väl dokumenterade, inklusive ökad operationell effektivitet genom tidig identifiering av potentiella komplikationer, optimering av preoperativ hantering för patienter med underliggande tillstånd som diabetes, kardiopulmonala sjukdomar och njursvikt, och minimering av postoperativa komplikationer. I Brasilien föreskriver Federal Council of Medicines resolution nr 1.802/2006 förnarkosutvärdering som en väsentlig komponent för patientsäkerhet och rekommenderar att den utförs före sjukhusinläggning för elektiva ingrepp.

Nyligen har Brasilien upplevt en ökning av efterfrågan på kirurgiska ingrepp, förvärrad av COVID-19-pandemin. En undersökning från 2022 av Oswaldo Cruz Foundation (Fiocruz) visade ett eftersläp på 910 621 operationer i Unified Health System (SUS), med betydande underskott i matsmältningssystemets kirurgi (374 475), urogenitala ingrepp (241 752), cirkulationssystemets ingrepp (104 925) och övre luftvägar, ansikte, huvud och halsoperationer (102 352). Detta tryck på det offentliga hälsosystemet ledde till lanseringen av National Program for Reducing Waiting Lists 2024 av den brasilianska federala regeringen. Följaktligen finns det ett behov av att ompröva flödet och processen för förnarkosbedömningar för att säkerställa säker och adekvat vård för denna uppdämda efterfrågan.

Med tekniska framsteg och den ökande volymen tillgänglig medicinsk data har kliniska utvärderingar blivit mer komplexa, vilket kräver snabbare och mer precisa beslut. I detta sammanhang framträder artificiell intelligens (AI) som ett lovande verktyg för att omvandla anestesiologi, särskilt inom förnarkosbedömning. AI-verktyg, inklusive Natural Language Processing (NLP) och Large Language Models (LLM), har visat potential att förbättra noggrannhet, effektivitet och personalisering av medicinsk vård.

Nyligen studier har visat den positiva effekten av AI inom detta område. Till exempel har NLP för att granska medicinska journaler och identifiera relevant preoperativ klinisk information visat hög överensstämmelse (81,24 %) mellan maskin- och anestesiologbedömningar avseende närvaro eller frånvaro av tillstånd, och identifierade medicinska tillstånd i 16,6 % av fallen som förbisågs av anestesiologen. Personliga beslutsstödssystem som använder OWL-ontologier och semantisk webbteknik har visat sig vara effektiva för att generera riskbedömningsrapporter och anpassade kliniska rekommendationer. Maskininlärningsmodeller för perioperativ riskprediktion har möjliggjort skapandet av individuella riskprofiler och personliga bedömningar.

Large Language Models (LLM), såsom GPT, har visat potential att förbättra patientkommunikation och utbildning under den kirurgiska resan. En jämförande studie från 2024 av GPT-versioner indikerade dess förmåga att ge korrekta och läsbara svar till patienter på anestesirelaterade frågor. Dock är studier om den kliniska tillämpningen av AI inom anestesiologi som involverar LLM fortfarande få; en systematisk översikt från 2023 identifierade inga studier som använder denna teknik. Dessutom har de flesta studier och utvecklingar genomförts i internationella sammanhang, utan att adressera portugisiskt språk eller specifika aspekter av det brasilianska hälsosystemet. Hittills finns inga publicerade studier om utveckling och validering av ett LLM-verktyg på portugisiska för förnarkosbedömning, särskilt med hänsyn till Brasiliens epidemiologiska profil och hälso- och sjukvårdsutmaningar.

Dessutom är farhågor om tillförlitligheten hos AI-verktyg inom medicin betydande. En nyligen publicerad studie i Nature Medicine avslöjade att många AI-enheter godkända av FDA i USA saknar adekvat klinisk validering. Av 521 FDA-godkända AI-enheter mellan 1995 och 2022 rapporterade endast 56 % någon form av klinisk validering, med bara 28,4 % validerade prospektivt och 4,2 % genom randomiserade kliniska prövningar. Anmärkningsvärt hade 43,4 % ingen offentligt tillgänglig klinisk valideringsdata. Dessa resultat understryker vikten av att genomföra rigorösa kliniska valideringsstudier, särskilt i specifika sammanhang, innan AI-verktyg implementeras i medicinsk praktik.

Därför föreslår detta projekt att utveckla och prospektivt validera ett AI-verktyg baserat på en LLM på portugisiska för förnarkosbedömning i Brasilien, i en klinisk miljö. Detta adresserar ett gap i litteraturen och möter de specifika behoven i det nationella sammanhanget. Målet är att förbättra noggrannheten, personaliseringen, tillförlitligheten och effektiviteten hos preoperativa utvärderingar med avancerad AI, med hänsyn till de brasilianska befolkningens och hälsosystemets egenheter. Implementering av detta verktyg skulle potentiellt kunna omvandla anestesiologisk praxis i landet, ge förbättrat beslutsstöd och främja större kirurgisk säkerhet.

Studiemål:

Primärt mål:

- Att prospektivt utvärdera noggrannheten och konsistensen hos förnarkosbedömningen utförd av AI-verktyget jämfört med bedömningar utförda av anestesiologer på ett nationellt tertiärsjukhus.

Sekundära mål:

• Att fastställa nivån av överensstämmelse mellan den preoperativa riskbedömningen utförd av AI-verktyget och humana anestesiologer, med hänsyn till aspekter som American Society of Anesthesiologists (ASA) klassificering och validerade kirurgiska riskmodeller på ett nationellt tertiärsjukhus.
• Att undersöka anestesiologers uppfattningar om AI-verktygets användbarhet, inklusive deras förtroende för resultaten genererade av verktyget och deras vilja att integrera det i klinisk praktik.
• Att bedöma om användningen av AI-verktyget påverkar den övergripande kvaliteten på förnarkosbedömningen, inklusive detektion av riskvillkor som kan underskattas eller förbises i konventionella humana utvärderingar.
• Att utvärdera eventuella svårigheter patienter möter vid användning av AI-verktyget på ett nationellt tertiärsjukhus.

Studiedesign:

Detta är en prospektiv observationell longitudinell kohortstudie som genomförs på två centra, Anestesitjänsten på Hospital Nossa Senhora da Conceição i Porto Alegre, Brasilien och Santa Casa de Ribeirão Preto, Brasilien.

Deltagare:

Inklusionskriterier:

• Patienter 18 år eller äldre.
• Planerade för elektiva icke-hjärtkirurgiska operationer på båda institutionerna.

Exklusionskriterier:

• Patienter som genomgår diagnostiska procedurer med isolerad sedation eller lokalbedövning.
• Om en patient genomgår mer än ett kirurgiskt ingrepp under samma sjukhusvistelse, kommer endast det huvudsakliga ingreppet att beaktas.

Urvalsstorlek:

Urvalsstorleken beräknades baserat på det primära utfallet av överensstämmelse mellan AI och humana preoperativa riskbedömningar med Cohens Kappa-koefficient. Antaget en förväntad överensstämmelse på 80 % (baserat på tidigare studier som visar cirka 0,80 för perioperativa riskbedömningar mellan AI och kliniker), med ett Kappa-värde ≥ 0,70 betraktat som betydande överensstämmelse, ett felmarginal på 5 % och en 95 % konfidensnivå, är den minsta urvalsstorleken cirka 246 patienter. Med hänsyn till potentiella förluster till uppföljning och exklusioner (10 % marginal) blir den totala urvalsstorleken 270 patienter.

Procedurer:

1. Kirurgisk indikation:

   • Kirurgen fastställer patientens kirurgiska indikation och registrerar operationens namn enligt procedurkoden i Ex-Care riskmodellen.

2. Användning av AI-verktyget:

   • Kirurgen instruerar patienten att använda AI-verktyget för förnarkosbedömning. Patienten får tillgång till verktyget och fyller i den efterfrågade informationen.

3. Bearbetning av bedömningen:

   • Verktyget bearbetar patientens bedömning och genererar två typer av resultat:
   • Generella riktlinjer: En uppsättning allmänna instruktioner som skickas direkt till patienten för att hjälpa till med kirurgisk förberedelse.
   • Specifik bedömning: En detaljerad utvärdering, inklusive rekommendationer och varningstecken, genererad för medicinskt bruk men inte tillgängliggjord för anestesiologen som utför den preoperativa utvärderingen.

4. Förnarkosutvärdering:

   • Patienten genomgår en traditionell förnarkosutvärdering av en anestesiolog, som inte kommer att ha tillgång till den AI-genererade bedömningen.

5. Jämförelse av bedömningar:

   • En tredje anestesiolog, blind för den tidigare processen, kommer att jämföra de två bedömningarna (AI-verktyget kontra human utvärdering). Denna jämförelse kommer att beakta kvaliteten på insamlad information, precisionen i kliniskt omdöme och identifiering av potentiella risker eller komplikationer.

Datainsamling:

Data kommer att samlas in prospektivt, inklusive variabler som ålder, kön, operationskod och resultat från båda bedömningarna (AI-verktyget och anestesiolog). Ett formulär för datainsamling (bifogat i protokollet efter referenser) beskriver variablerna som ingår i detta forskningsprotokoll.

Utfallsmått:

Primärt utfall:

- Överensstämmelse mellan preoperativa riskbedömningar av AI-verktyget och den humana anestesiologen, i termer av kvalitet på insamlad information och kliniskt omdöme.

Sekundära utfall:

• Nivå av överensstämmelse om ASA-klassificering och validerade kirurgiska riskmodeller.
• Anestesiologers uppfattningar om verktygets användbarhet, förtroende och integrationspotential (bedöms via enkäter).
• Påverkan på bedömningskvalitet, inklusive detektion av förbisedda risker.
• Patientrapporterade svårigheter vid användning av AI-verktyget (bedöms via feedback).

Statistisk analys:

Överensstämmelsetester kommer att användas för att jämföra resultat från preoperativa riskbedömningar mellan AI-verktyget och anestesiolog. Cohens Kappa-koefficient kommer att mäta överensstämmelse för kategoriska variabler (informationskvalitet och kliniskt omdöme). För kontinuerliga variabler (t.ex. ålder) kommer Students t-test eller Mann-Whitney-test att tillämpas, beroende på datafördelning (normalitet kontrolleras via Shapiro-Wilk-test). Statistisk signifikans kommer att sättas till P < 0,05.

Tidslinje:

Studien kommer att spänna över 36 månader: 24 månader för datainsamling, 6 månader för analys och 6 månader för resultatformulering och publicering.

Finansiering:

Kostnader för datainsamlingsmaterial, datorer, statistisk mjukvara och dokumentation kommer att täckas av de inblandade författarna. Budgetdetaljer inkluderar: mappar för lagring (R$250,00), datainsamlingsark (R$500,00), och analysmjukvara (R$1 000,00).

Spridning:

Resultat kommer att lagras i en säker, konfidentiell databas och skickas för publicering i en indexerad vetenskaplig tidskrift vid slutförande.