A1Check: zewnętrzna walidacja modelu uczenia maszynowego przewidującego wyciek z zespolenia jelita grubego (A1Check)

Procedura badania Celem badania jest zewnętrzna walidacja modelu uczenia maszynowego przewidującego nieszczelność zespolenia jelita grubego. Model predykcyjny, który zostanie zweryfikowany zewnętrznie, jest tworzony na podstawie prospektywnej bazy danych. Ta baza danych zawierała dane 2483 pacjentów z rakiem jelita grubego, którzy przeszli operację między styczniem 2016 a kwietniem 2021 w 14 szpitalach, zarówno wiejskich, jak i akademickich w czterech różnych krajach (Holandia, Włochy, Belgia, Australia). U około 189 pacjentów (7,6%) doszło do przecieku zespolenia jelita grubego. Modele przewidywały ryzyko wycieku zespolenia jelita grubego śródoperacyjnie, tuż przed wykonaniem zespolenia, przy użyciu łącznie 31 zmiennych. Zmienne te zawierają zarówno dane dostępne przed operacją, jak i zmienne dotyczące stanu śródoperacyjnego pacjenta. Modele zostały zweryfikowane wewnętrznie przy użyciu 10-krotnej walidacji krzyżowej, a następnie przetestowane na 20% niewidocznych danych z bazy danych. Pole pod krzywą - charakterystyka operacyjna odbiornika (AUROC) najlepiej działającego modelu uczenia maszynowego na zbiorze testowym wyniosło 0,84, z czułością 0,86, specyficznością 0,78, dodatnią wartością predykcyjną 0,24 i ujemną wartością predykcyjną 0,99.

Podczas tego prospektywnego badania symulacyjnego nie ma bezpośrednich korzyści ani zagrożeń dla uczestniczących pacjentów. To prospektywne badanie symulacyjne nie będzie miało charakteru interwencyjnego, modele prognostyczne nie zmienią pierwotnej codziennej praktyki i na tym etapie nie są przeznaczone do stosowania jako urządzenie diagnostyczne. Śródoperacyjnie, tuż przed utworzeniem zespolenia, model prognostyczny przewidzi prawdopodobieństwo przecieku zespolenia, używając pacjenta, guza i zmiennych śródoperacyjnych (wymienionych w akapicie Data Dictionary). SAS VIYA służy do wdrażania modelu uczenia maszynowego. Podczas prospektywnego badania symulacyjnego wyniki tych przewidywań są dostępne tylko dla głównego badacza i badaczy, a zatem są nieznane uczestniczącym szpitalom lub chirurgom operacyjnym, aby zapobiec jakiemukolwiek wpływowi na bieżącą codzienną praktykę na tym etapie badań. Trzydzieści dni po operacji zbierane będą dane pacjentów dotyczące wystąpienia nieszczelności zespolenia. AUROC, czułość, swoistość i dokładność zostaną następnie obliczone na podstawie liczby pacjentów ocenionych jako prawdziwie dodatnie, prawdziwie ujemne, fałszywie dodatnie lub fałszywie ujemne. Po minimum 100 zdarzeniach i 100 zdarzeniach niebędących zdarzeniami zewnętrzna walidacja jest zakończona i zostaną przedstawione ostateczne wyniki AUROC, czułości i swoistości.

Plan zapewnienia jakości, kontrola danych, weryfikacja danych źródłowych Dane będą traktowane poufnie i anonimowo. Dane zostaną pseudoanonimizowane dla głównego badacza i badaczy. Pseudoanonimizowane dane są wprowadzane do bazy danych Castor. Słownik danych jest dołączony do oryginalnego zestawu danych z metadanymi opisującymi dane. Wszystkie uczestniczące szpitale mają umowę o udostępnianiu danych, aby bezpiecznie udostępniać dane pacjentów objętych badaniem głównemu badaczowi i badaczom. Plan zarządzania danymi zostanie utworzony zgodnie z polityką naszego instytutu z pomocą eksperta ds. zarządzania danymi, wraz z przejrzystym raportowaniem wielowymiarowego modelu predykcyjnego dla wytycznych indywidualnej prognozy lub diagnozy (TRIPOD). Charakterystyka zebranych i wygenerowanych danych jest dane kliniczne wyodrębnione z elektronicznej dokumentacji medycznej. Zawiera zmienne ciągłe, nominalne i dychotomiczne. Dane nie będą ponownie wykorzystywane ani łączone z istniejącymi danymi. Świadoma zgoda pacjentów jest niezbędna do przewidywania wyniku z wykorzystaniem opracowanego modelu. Do tego projektu mają zastosowanie zasady i przepisy dotyczące prywatności. Projekt będzie również zgodny ze wszystkimi zasadami ochrony danych określonymi w ogólnym rozporządzeniu o ochronie danych. Dostęp do anonimowego zbioru danych można uzyskać za pośrednictwem bazy danych Castor. Dane długoterminowe będą zapisywane w repozytorium UMC w Amsterdamie z pomocą działu zarządzania danymi badawczymi (RDM). Dane będą przechowywane przez pięć lat po zakończeniu projektu.

Słownik danych

Od włączonych pacjentów zostaną zebrane następujące zmienne:

I. Charakterystyka pacjenta i guza Wiek; seks; wskaźnik masy ciała; Klasyfikacja Amerykańskiego Towarzystwa Anestezjologicznego (ASA); zatrucia (palenie i/lub spożywanie alkoholu); historia medyczna cukrzycy; stosowanie sterydów (nie do nosa); hemoglobina; choroba łagodna lub złośliwa. W przypadku choroby nowotworowej: stadium TNM, odległość guza od brzegu odbytu, leczenie neoadjuwantowe.

II. Charakterystyka okołooperacyjna Procedura chirurgiczna, dostęp chirurgiczny; konwersja; wystąpienie zdarzenia śródoperacyjnego (hipoksja, hiperkapnia, bradykardia, niedociśnienie, zatorowość, reanimacja, większa niż planowana resekcja, zmiany surowicze, urazy pęcherza i moczowodów, krwawienia śródoperacyjne, splenektomia) iii. Charakterystyka tuż przed utworzeniem zespolenia Temperatura pacjenta; czas podania antybiotyku; podawanie środków wazopresyjnych; strata krwi; nasycenie O2; średnie ciśnienie tętnicze; podawanie płynów; produkcja moczu; obecność zanieczyszczenia kałem; subiektywna ocena perfuzji miejscowej; znieczulenie zewnątrzoponowe; ruchy drzwi; czas od nacięcia do powstania zespolenia, zamiar wykonania stomii.

iv. Charakterystyka pooperacyjna Nieszczelność zespolenia jelita grubego w ciągu 30 dni i długość pobytu w szpitalu.

Standardowe procedury operacyjne Pacjenci kwalifikujący się do włączenia są wykrywani na pierwszym spotkaniu zespołu multidyscyplinarnego. Jeśli kwalifikuje się, chirurg poinformuje i omówi to badanie z pacjentem podczas konsultacji przedoperacyjnej przed operacją. Jeśli pacjent wyraża zgodę na udział, wymagana jest pisemna świadoma zgoda. Pacjent może w każdej chwili wycofać tę zgodę.

Obliczenie wielkości próby W uczestniczących szpitalach rocznie wykonuje się około 100 do 400 resekcji jelita grubego, przy przybliżonej częstości występowania nieszczelności zespolenia wynoszącej od 5 do 15%. W wielu badaniach wykazano, że co najmniej 100 zdarzeń i 100 zdarzeń nie jest odpowiednią wielkością próby do walidacji zewnętrznej. Przy spodziewanej łącznej liczbie 1200 pacjentów rocznie i odsetku wycieków około 10%, w tym 100 zdarzeń trwa około jednego do dwóch lat.

Postępowanie z brakującymi danymi Model uczenia maszynowego dokona prognozy u pacjentów, gdy dostępnych jest ponad 80% wymaganych danych. Brakujące dane są przypisywane przy użyciu predykcyjnego dopasowania średniej z dziesięcioma iteracjami.

Plan analizy statystycznej Zewnętrzna walidacja zostanie przeprowadzona dla co najmniej 100 zdarzeń (nieszczelność zespolenia) i 100 zdarzeń niezwiązanych (brak przecieku zespolenia). Model uczenia maszynowego o najlepszej wydajności predykcyjnej w zakresie AUROC zostanie użyty jako model implementacyjny. Częstość nieszczelności zespoleń jelita grubego zostanie porównana w wieloczynnikowym modelu regresji logistycznej. Wszystkie analizy będą przeprowadzane pod nadzorem epidemiologa klinicznego.