Prospectieve validatie van een kunstmatige intelligentie-tool voor pre-anesthesiebeoordeling

Achtergrond:

De pre-anesthesiologische beoordeling is een kritisch proces dat voorafgaat aan chirurgische ingrepen en speelt een fundamentele rol bij het waarborgen van perioperatieve veiligheid en kwaliteit van zorg. In de afgelopen decennia hebben anesthesiologen aanzienlijk bijgedragen aan het verbeteren van perioperatieve veiligheid en kwaliteit, zoals benadrukt in het rapport van het Institute of Medicine over de kwaliteit van gezondheidszorg. Deze evaluatie is voortdurend verfijnd om klinische resultaten te verbeteren en kosten te verminderen die verband houden met onnodige preoperatieve laboratoriumtests en onderzoeken.

De voordelen van pre-anesthesiologische beoordeling zijn goed gedocumenteerd, waaronder verhoogde operationele efficiëntie door vroegtijdige identificatie van mogelijke complicaties, optimalisatie van preoperatief management voor patiënten met onderliggende aandoeningen zoals diabetes, cardiopulmonale ziekten en nierinsufficiëntie, en minimalisatie van postoperatieve complicaties. In Brazilië verplicht Resolutie nr. 1.802/2006 van de Federale Raad voor Geneeskunde pre-anesthesiologische evaluatie als een essentieel onderdeel voor patiëntveiligheid en beveelt aan dat deze wordt uitgevoerd vóór ziekenhuisopname voor electieve procedures.

Onlangs heeft Brazilië een sterke toename van de vraag naar chirurgische ingrepen meegemaakt, verergerd door de COVID-19-pandemie. Een onderzoek uit 2022 van de Oswaldo Cruz Foundation (Fiocruz) onthulde een achterstand van 910.621 operaties in het Unified Health System (SUS), met aanzienlijke tekorten in spijsverteringsstelseloperaties (374.475), genitourinaire procedures (241.752), interventies aan de bloedsomloop (104.925) en operaties aan de bovenste luchtwegen, gezicht, hoofd en nek (102.352). Deze druk op het openbare gezondheidssysteem leidde tot de lancering van het Nationale Programma voor Vermindering van Wachttijden in 2024 door de Braziliaanse federale overheid. Bijgevolg is er behoefte aan het heroverwegen van de stroom en het proces van pre-anesthesiologische beoordelingen om veilige en adequate zorg voor deze opgehoopte vraag te waarborgen.

Met technologische vooruitgang en het toenemende volume aan beschikbare medische gegevens zijn klinische evaluaties complexer geworden, wat snellere en nauwkeurigere beslissingen vereist. In deze context komt kunstmatige intelligentie (AI) naar voren als een veelbelovend hulpmiddel om anesthesiologie te transformeren, met name in pre-anesthesiologische beoordeling. AI-hulpmiddelen, waaronder Natural Language Processing (NLP) en Large Language Models (LLM's), hebben potentieel getoond om de nauwkeurigheid, efficiëntie en personalisatie van medische zorg te verbeteren.

Recente studies hebben de positieve impact van AI op dit gebied aangetoond. NLP voor het beoordelen van medische dossiers en het identificeren van relevante preoperatieve klinische informatie toonde bijvoorbeeld een hoge overeenstemming (81,24%) tussen machine- en anesthesioloogbeoordelingen met betrekking tot de aan- of afwezigheid van aandoeningen, en identificeerde medische aandoeningen in 16,6% van de gevallen die door de anesthesioloog over het hoofd werden gezien. Gepersonaliseerde beslissingsondersteuningssystemen die gebruikmaken van OWL-ontologieën en semantische webtechnologieën hebben bewezen effectief te zijn in het genereren van risicobeoordelingsrapporten en aangepaste klinische aanbevelingen. Machine learning-modellen voor perioperatieve risicovoorspelling hebben het mogelijk gemaakt individuele risicoprofielen en gepersonaliseerde beoordelingen te creëren.

Large Language Models (LLM's), zoals GPT, hebben potentieel getoond om patiëntcommunicatie en -educatie tijdens het chirurgische traject te verbeteren. Een vergelijkende studie uit 2024 van GPT-versies gaf aan dat het in staat is om accurate en leesbare antwoorden te geven aan patiënten op vragen over anesthesie. Studies over de klinische toepassing van AI in anesthesiologie met betrekking tot LLM's blijven echter schaars; een systematische review uit 2023 identificeerde geen studies die deze technologie gebruikten. Bovendien zijn de meeste studies en ontwikkelingen uitgevoerd in internationale contexten, zonder aandacht voor de Portugese taal of de specifieke kenmerken van het Braziliaanse gezondheidszorgsysteem. Tot op heden bestaan er geen gepubliceerde studies over de ontwikkeling en validatie van een LLM-hulpmiddel in het Portugees voor pre-anesthesiologische beoordeling, met name rekening houdend met het epidemiologische profiel en de gezondheidszorguitdagingen van Brazilië.

Bovendien zijn zorgen over de betrouwbaarheid van AI-hulpmiddelen in de geneeskunde opmerkelijk. Een recente studie gepubliceerd in Nature Medicine onthulde dat veel door de FDA in de Verenigde Staten goedgekeurde AI-apparaten geen adequate klinische validatie hebben. Van de 521 door de FDA geautoriseerde AI-apparaten tussen 1995 en 2022 rapporteerde slechts 56% enige vorm van klinische validatie, waarbij slechts 28,4% prospectief werd gevalideerd en 4,2% via gerandomiseerde klinische onderzoeken. Opmerkelijk is dat 43,4% geen openbaar beschikbare klinische validatiegegevens had. Deze bevindingen benadrukken het belang van het uitvoeren van rigoureuze klinische validatiestudies, vooral in specifieke contexten, voordat AI-hulpmiddelen in de medische praktijk worden geïmplementeerd.

Daarom stelt dit project voor om een AI-hulpmiddel gebaseerd op een LLM in het Portugees te ontwikkelen en prospectief te valideren voor pre-anesthesiologische beoordeling in Brazilië, in een klinische setting. Dit voorziet in een hiaat in de literatuur en voldoet aan de specifieke behoeften van de nationale context. Het doel is om de nauwkeurigheid, personalisatie, betrouwbaarheid en efficiëntie van preoperatieve evaluaties te verbeteren met behulp van geavanceerde AI, rekening houdend met de bijzonderheden van de Braziliaanse bevolking en het gezondheidszorgsysteem. Implementatie van dit hulpmiddel zou mogelijk de anesthesiologische praktijk in het land kunnen transformeren, waardoor betere beslissingsondersteuning wordt geboden en grotere chirurgische veiligheid wordt bevorderd.

Studiedoelen:

Primair doel:

- Prospectief evalueren van de nauwkeurigheid en consistentie van de pre-anesthesiologische beoordeling uitgevoerd door het AI-hulpmiddel in vergelijking met beoordelingen uitgevoerd door anesthesiologen in een nationaal tertiair ziekenhuis.

Secundaire doelen:

• Het bepalen van het niveau van overeenstemming tussen de preoperatieve risicobeoordeling uitgevoerd door het AI-hulpmiddel en menselijke anesthesiologen, rekening houdend met aspecten zoals de American Society of Anesthesiologists (ASA)-classificatie en gevalideerde chirurgische risicomodellen in een nationaal tertiair ziekenhuis.
• Het onderzoeken van de percepties van anesthesiologen over het nut van het AI-hulpmiddel, inclusief hun vertrouwen in de resultaten gegenereerd door het hulpmiddel en hun bereidheid om het te integreren in de klinische praktijk.
• Het beoordelen of het gebruik van het AI-hulpmiddel de algehele kwaliteit van de pre-anesthesiologische beoordeling beïnvloedt, inclusief de detectie van risicocondities die mogelijk worden onderschat of over het hoofd gezien in conventionele menselijke evaluaties.
• Het evalueren van eventuele moeilijkheden die patiënten ondervinden bij het gebruik van het AI-hulpmiddel in een nationaal tertiair ziekenhuis.

Studieontwerp:

Dit is een prospectieve observationele longitudinale cohortstudie uitgevoerd in twee centra, de Anesthesiedienst van Hospital Nossa Senhora da Conceição in Porto Alegre, Brazilië en Santa Casa de Ribeirão Preto, Brazilië.

Deelnemers:

Inclusiecriteria:

• Patiënten van 18 jaar of ouder.
• Gepland voor electieve niet-cardiale chirurgie in beide instellingen.

Exclusiecriteria:

• Patiënten die diagnostische procedures ondergaan met geïsoleerde sedatie of lokale anesthesie.
• Als een patiënt meer dan één chirurgische interventie ondergaat tijdens dezelfde ziekenhuisopname, wordt alleen de belangrijkste procedure overwogen.

Steekproefomvang:

De steekproefomvang is berekend op basis van het primaire resultaat van overeenstemming tussen AI- en menselijke preoperatieve risicobeoordelingen met behulp van Cohen's Kappa-coëfficiënt. Uitgaande van een verwachte overeenstemming van 80% (gebaseerd op eerdere studies die ongeveer 0,80 tonen voor perioperatieve risicobeoordelingen tussen AI en clinici), met een Kappa-waarde ≥ 0,70 beschouwd als substantiële overeenstemming, een foutmarge van 5% en een betrouwbaarheidsniveau van 95%, is de minimale steekproefomvang ongeveer 246 patiënten. Rekening houdend met mogelijke uitval en exclusies (10% marge), zal de totale steekproef 270 patiënten zijn.

Procedures:

1. Chirurgische indicatie:

   • De chirurg bepaalt de chirurgische indicatie van de patiënt en registreert de operatienaam volgens de procedurecode in het Ex-Care risicomodel.

2. Gebruik van het AI-hulpmiddel:

   • De chirurg instrueert de patiënt om het AI-hulpmiddel te gebruiken voor pre-anesthesiologische beoordeling. De patiënt heeft toegang tot het hulpmiddel en voltooit de gevraagde informatie.

3. Verwerking van de beoordeling:

   • Het hulpmiddel verwerkt de beoordeling van de patiënt en genereert twee soorten resultaten:
   • Generieke Oriëntaties: Een set algemene instructies die rechtstreeks naar de patiënt worden gestuurd om te helpen bij chirurgische voorbereiding.
   • Specifieke Beoordeling: Een gedetailleerde evaluatie, inclusief aanbevelingen en waarschuwingssignalen, gegenereerd voor medisch gebruik maar niet beschikbaar gesteld aan de anesthesioloog die de preoperatieve evaluatie uitvoert.

4. Pre-anesthesiologische evaluatie:

   • De patiënt ondergaat een traditionele pre-anesthesiologische evaluatie door een anesthesioloog, die geen toegang zal hebben tot de door AI gegenereerde beoordeling.

5. Vergelijking van beoordelingen:

   • Een derde anesthesioloog, geblindeerd voor het eerdere proces, zal de twee beoordelingen vergelijken (AI-hulpmiddel versus menselijke evaluatie). Deze vergelijking houdt rekening met de kwaliteit van verzamelde informatie, precisie van klinisch oordeel en identificatie van potentiële risico's of complicaties.

Gegevensverzameling:

Gegevens worden prospectief verzameld, inclusief variabelen zoals leeftijd, geslacht, operatiecode en resultaten van beide beoordelingen (AI-hulpmiddel en anesthesioloog). Een gegevensverzamelingsformulier (bijgevoegd in het protocol na referenties) schetst de variabelen die zijn opgenomen in dit onderzoeksprotocol.

Uitkomstmaten:

Primaire uitkomst:

- Overeenstemming tussen preoperatieve risicobeoordelingen door het AI-hulpmiddel en de menselijke anesthesioloog, in termen van kwaliteit van verzamelde informatie en klinisch oordeel.

Secundaire uitkomsten:

• Mate van overeenstemming over ASA-classificatie en gevalideerde chirurgische risicomodellen.
• Percepties van anesthesiologen over het nut, vertrouwen en integratiepotentieel van het hulpmiddel (beoordeeld via enquêtes).
• Impact op beoordelingskwaliteit, inclusief detectie van over het hoofd geziene risico's.
• Door patiënten gerapporteerde moeilijkheden bij het gebruik van het AI-hulpmiddel (beoordeeld via feedback).

Statistische analyse:

Overeenstemmingstesten zullen worden gebruikt om preoperatieve risicobeoordelingsresultaten tussen het AI-hulpmiddel en de anesthesioloog te vergelijken. Cohen's Kappa-coëfficiënt zal overeenstemming meten voor categorische variabelen (informatiekwaliteit en klinisch oordeel). Voor continue variabelen (bijv. leeftijd) zullen Student's t-test of Mann-Whitney-test worden toegepast, afhankelijk van de gegevensverdeling (normaliteit gecontroleerd via Shapiro-Wilk-test). Statistische significantie wordt vastgesteld op P < 0,05.

Tijdlijn:

De studie beslaat 36 maanden: 24 maanden voor gegevensverzameling, 6 maanden voor analyse en 6 maanden voor formulering en publicatie van resultaten.

Financiering:

Kosten voor gegevensverzamelingsmaterialen, computers, statistische software en documentatie worden gedekt door de betrokken auteurs. Budgetdetails omvatten: mappen voor opslag (R$250,00), gegevensverzamelingsbladen (R$500,00) en analysesoftware (R$1.000,00).

Verspreiding:

Resultaten worden opgeslagen in een veilige, vertrouwelijke database en na voltooiing ingediend voor publicatie in een geïndexeerd wetenschappelijk tijdschrift.