Prospektywne walidacja narzędzia sztucznej inteligencji do oceny przedanestezjologicznej

Tło:

Ocena przedanestezjologiczna to kluczowy proces poprzedzający zabiegi chirurgiczne, odgrywający fundamentalną rolę w zapewnieniu bezpieczeństwa okołooperacyjnego i jakości opieki. W ciągu ostatnich dziesięcioleci anestezjolodzy wnieśli znaczący wkład w poprawę bezpieczeństwa okołooperacyjnego i jakości, co podkreślono w raporcie Instytutu Medycyny dotyczącym jakości opieki zdrowotnej. Ta ocena była stale udoskonalana, aby poprawić wyniki kliniczne i zmniejszyć koszty związane z niepotrzebnymi przedoperacyjnymi badaniami laboratoryjnymi i badaniami.

Korzyści z oceny przedanestezjologicznej są dobrze udokumentowane, w tym zwiększona wydajność operacyjna dzięki wczesnemu identyfikowaniu potencjalnych powikłań, optymalizacja przedoperacyjnego postępowania u pacjentów z chorobami podstawowymi, takimi jak cukrzyca, choroby sercowo-płucne i niewydolność nerek, oraz minimalizacja powikłań pooperacyjnych. W Brazylii Rezolucja Federalnej Rady Medycznej nr 1.802/2006 nakazuje ocenę przedanestezjologiczną jako niezbędny składnik bezpieczeństwa pacjenta, zalecając jej przeprowadzenie przed przyjęciem do szpitala w przypadku planowych procedur.

Ostatnio Brazylia doświadczyła gwałtownego wzrostu zapotrzebowania na zabiegi chirurgiczne, pogorszonym przez pandemię COVID-19. Badanie z 2022 roku przeprowadzone przez Fundację Oswaldo Cruz (Fiocruz) ujawniło zaległości w wysokości 910 621 operacji w Zunifikowanym Systemie Zdrowia (SUS), ze znacznymi niedoborami w operacjach układu pokarmowego (374 475), procedurach moczowo-płciowych (241 752), interwencjach układu krążenia (104 925) oraz operacjach górnych dróg oddechowych, twarzy, głowy i szyi (102 352). Ta presja na system opieki zdrowotnej doprowadziła do uruchomienia przez brazylijski rząd federalny w 2024 roku Narodowego Programu Redukcji List Oczekujących. W konsekwencji istnieje potrzeba przemyślenia przepływu i procesu ocen przedanestezjologicznych, aby zapewnić bezpieczną i odpowiednią opiekę dla tego nagromadzonego zapotrzebowania.

Dzięki postępowi technologicznemu i rosnącej ilości dostępnych danych medycznych, oceny kliniczne stały się bardziej złożone, wymagając szybszych i bardziej precyzyjnych decyzji. W tym kontekście sztuczna inteligencja (AI) pojawia się jako obiecujące narzędzie do przekształcenia anestezjologii, szczególnie w ocenie przedanestezjologicznej. Narzędzia AI, w tym Przetwarzanie Języka Naturalnego (NLP) i Duże Modele Językowe (LLM), wykazały potencjał do poprawy dokładności, wydajności i personalizacji opieki medycznej.

Ostatnie badania wykazały pozytywny wpływ AI w tym obszarze. Na przykład, NLP do przeglądania dokumentacji medycznej i identyfikowania istotnych informacji klinicznych przedoperacyjnych wykazało wysoką zgodność (81,24%) między ocenami maszyny i anestezjologa dotyczącymi obecności lub braku schorzeń, i zidentyfikowało schorzenia medyczne w 16,6% przypadków przeoczonych przez anestezjologa. Spersonalizowane systemy wspomagania decyzji wykorzystujące ontologie OWL i technologie semantycznego internetu okazały się skuteczne w generowaniu raportów oceny ryzyka i spersonalizowanych zaleceń klinicznych. Modele uczenia maszynowego do przewidywania ryzyka okołooperacyjnego umożliwiły tworzenie indywidualnych profili ryzyka i spersonalizowanych ocen.

Duże Modele Językowe (LLM), takie jak GPT, wykazały potencjał do poprawy komunikacji z pacjentem i edukacji podczas procesu chirurgicznego. Badanie porównawcze z 2024 roku dotyczące wersji GPT wskazało na jego zdolność do dostarczania dokładnych i czytelnych odpowiedzi pacjentom na pytania związane z anestezjologią. Jednak badania dotyczące klinicznego zastosowania AI w anestezjologii z udziałem LLM pozostają skąpe; przegląd systematyczny z 2023 roku nie zidentyfikował żadnych badań wykorzystujących tę technologię. Ponadto większość badań i rozwoju została przeprowadzona w kontekstach międzynarodowych, nie uwzględniając języka portugalskiego ani specyfiki brazylijskiego systemu opieki zdrowotnej. Do tej pory nie istnieją opublikowane badania dotyczące rozwoju i walidacji narzędzia LLM w języku portugalskim do oceny przedanestezjologicznej, szczególnie biorąc pod uwagę profil epidemiologiczny Brazylii i wyzwania opieki zdrowotnej.

Dodatkowo, obawy dotyczące wiarygodności narzędzi AI w medycynie są znaczące. Ostatnie badanie opublikowane w Nature Medicine ujawniło, że wiele urządzeń AI zatwierdzonych przez FDA w Stanach Zjednoczonych nie posiada odpowiedniej walidacji klinicznej. Z 521 urządzeń AI autoryzowanych przez FDA w latach 1995-2022, tylko 56% zgłosiło jakąś formę walidacji klinicznej, przy czym jedynie 28,4% zostało zwalidowanych prospektywnie, a 4,2% poprzez randomizowane badania kliniczne. Co istotne, 43,4% nie miało publicznie dostępnych danych dotyczących walidacji klinicznej. Te ustalenia podkreślają znaczenie przeprowadzania rygorystycznych badań walidacji klinicznej, szczególnie w specyficznych kontekstach, przed wdrożeniem narzędzi AI w praktyce medycznej.

Dlatego ten projekt proponuje opracowanie i prospektywną walidację narzędzia AI opartego na LLM w języku portugalskim do oceny przedanestezjologicznej w Brazylii, w warunkach klinicznych. To adresuje lukę w literaturze i odpowiada na specyficzne potrzeby kontekstu narodowego. Celem jest poprawa dokładności, personalizacji, wiarygodności i wydajności ocen przedoperacyjnych przy użyciu zaawansowanej AI, biorąc pod uwagę specyfikę brazylijskiej populacji i systemu opieki zdrowotnej. Wdrożenie tego narzędzia mogłoby potencjalnie przekształcić praktykę anestezjologii w kraju, zapewniając lepsze wsparcie decyzyjne i promując większe bezpieczeństwo chirurgiczne.

Cele badania:

Cel główny:

- Prospektywna ocena dokładności i spójności oceny przedanestezjologicznej przeprowadzonej przez narzędzie AI w porównaniu z ocenami przeprowadzonymi przez anestezjologów w krajowym szpitalu trzeciego stopnia referencyjności.

Cele drugorzędne:

• Określenie poziomu zgodności między oceną ryzyka przedoperacyjnego przeprowadzoną przez narzędzie AI a ludzkimi anestezjologami, biorąc pod uwagę aspekty takie jak klasyfikacja Amerykańskiego Towarzystwa Anestezjologów (ASA) oraz zwalidowane modele ryzyka chirurgicznego w krajowym szpitalu trzeciego stopnia referencyjności.
• Zbadanie postrzegania przez anestezjologów użyteczności narzędzia AI, w tym ich zaufania do wyników generowanych przez narzędzie oraz ich gotowości do integracji go z praktyką kliniczną.
• Ocena, czy użycie narzędzia AI wpływa na ogólną jakość oceny przedanestezjologicznej, w tym na wykrywanie stanów ryzyka, które mogą być niedoszacowane lub przeoczone w konwencjonalnych ocenach ludzkich.
• Ocena wszelkich trudności, z jakimi spotykają się pacjenci przy korzystaniu z narzędzia AI w krajowym szpitalu trzeciego stopnia referencyjności.

Projekt badania:

Jest to prospektywne obserwacyjne badanie kohortowe przeprowadzone w dwóch ośrodkach, Służbie Anestezjologii Szpitala Nossa Senhora da Conceição w Porto Alegre, Brazylia oraz Santa Casa de Ribeirão Preto, Brazylia.

Uczestnicy:

Kryteria włączenia:

• Pacjenci w wieku 18 lat lub starsi.
• Zaplanowani na planowe operacje niekardiologiczne w obu instytucjach.

Kryteria wyłączenia:

• Pacjenci poddawani procedurom diagnostycznym z izolowaną sedacją lub znieczuleniem miejscowym.
• Jeśli pacjent przechodzi więcej niż jedną interwencję chirurgiczną podczas tej samej hospitalizacji, brana pod uwagę będzie tylko główna procedura.

Wielkość próby:

Wielkość próby została obliczona na podstawie pierwszorzędowego wyniku zgodności między ocenami ryzyka przedoperacyjnego AI i ludzkimi przy użyciu współczynnika Kappa Cohena. Zakładając oczekiwaną zgodność na poziomie 80% (na podstawie wcześniejszych badań wykazujących około 0,80 dla ocen ryzyka okołooperacyjnego między AI i klinicystami), z wartością Kappa ≥ 0,70 uważaną za istotną zgodność, marginesem błędu 5% i poziomem ufności 95%, minimalna wielkość próby wynosi około 246 pacjentów. Uwzględniając potencjalne straty w obserwacji i wykluczenia (margines 10%), całkowita próba będzie liczyć 270 pacjentów.

Procedury:

1. Wskazanie chirurgiczne:

   • Chirurg określa wskazanie chirurgiczne pacjenta i rejestruje nazwę operacji zgodnie z kodem procedury w modelu ryzyka Ex-Care.

2. Użycie narzędzia AI:

   • Chirurg instruuje pacjenta, aby użył narzędzia AI do oceny przedanestezjologicznej. Pacjent uzyskuje dostęp do narzędzia i wypełnia żądane informacje.

3. Przetwarzanie oceny:

   • Narzędzie przetwarza ocenę pacjenta, generując dwa rodzaje wyników:
   • Ogólne wytyczne: Zestaw ogólnych instrukcji wysłanych bezpośrednio do pacjenta w celu pomocy w przygotowaniu do operacji.
   • Specyficzna ocena: Szczegółowa ocena, w tym zalecenia i oznaki ostrzegawcze, wygenerowana do użytku medycznego, ale nie udostępniana anestezjologowi przeprowadzającemu ocenę przedoperacyjną.

4. Ocena przedanestezjologiczna:

   • Pacjent przechodzi tradycyjną ocenę przedanestezjologiczną przez anestezjologa, który nie będzie miał dostępu do oceny wygenerowanej przez AI.

5. Porównanie ocen:

   • Trzeci anestezjolog, zaślepiony co do wcześniejszego procesu, porówna dwie oceny (narzędzie AI versus ocena ludzka). To porównanie będzie uwzględniać jakość zebranych informacji, precyzję oceny klinicznej oraz identyfikację potencjalnych zagrożeń lub powikłań.

Zbieranie danych:

Dane będą zbierane prospektywnie, w tym zmienne takie jak wiek, płeć, kod operacji oraz wyniki obu ocen (narzędzie AI i anestezjolog). Formularz zbierania danych (załączony w protokole po referencjach) określa zmienne uwzględnione w tym protokole badawczym.

Miary wyników:

Wynik pierwszorzędowy:

- Zgodność między ocenami ryzyka przedoperacyjnego przez narzędzie AI a ludzkim anestezjologiem, pod względem jakości zebranych informacji i oceny klinicznej.

Wyniki drugorzędowe:

• Poziom zgodności w klasyfikacji ASA i zwalidowanych modelach ryzyka chirurgicznego.
• Postrzeganie przez anestezjologów użyteczności narzędzia, zaufania i potencjału integracyjnego (oceniane za pomocą ankiet).
• Wpływ na jakość oceny, w tym wykrywanie przeoczonych zagrożeń.
• Zgłaszane przez pacjentów trudności w korzystaniu z narzędzia AI (oceniane za pomocą informacji zwrotnej).

Analiza statystyczna:

Testy zgodności zostaną użyte do porównania wyników oceny ryzyka przedoperacyjnego między narzędziem AI a anestezjologiem. Współczynnik Kappa Cohena zmierzy zgodność dla zmiennych kategorycznych (jakość informacji i ocena kliniczna). Dla zmiennych ciągłych (np. wiek) zostanie zastosowany test t-Studenta lub test Manna-Whitneya, w zależności od rozkładu danych (normalność sprawdzona testem Shapiro-Wilka). Istotność statystyczna zostanie ustalona na P < 0,05.

Harmonogram:

Badanie będzie trwać 36 miesięcy: 24 miesiące na zbieranie danych, 6 miesięcy na analizę i 6 miesięcy na formułowanie wyników i publikację.

Finansowanie:

Koszty materiałów do zbierania danych, komputerów, oprogramowania statystycznego i dokumentacji zostaną pokryte przez zaangażowanych autorów. Szczegóły budżetu obejmują: teczki do przechowywania (R$250,00), arkusze zbierania danych (R$500,00), oraz oprogramowanie do analizy (R$1.000,00).

Upowszechnianie:

Wyniki będą przechowywane w bezpiecznej, poufnej bazie danych i po zakończeniu zostaną zgłoszone do publikacji w indeksowanym czasopiśmie naukowym.