Przewidywanie wyników po fuzji lędźwiowej w chorobie zwyrodnieniowej (FUSE-ML)

Wstęp Ból krzyża jest jedną z trzech głównych przyczyn niepełnosprawności w społeczeństwach zachodnich i pociąga za sobą znaczne bezpośrednie i pośrednie koszty społeczno-ekonomiczne. Etiologia bólu krzyża z promieniującym bólem nóg lub bez niego jest wieloczynnikowa, ale często jest związana z chorobą zwyrodnieniową dysku (DDD) lub kręgozmykiem. Standardowym sposobem leczenia objawowego kręgozmyku lub postępującego DDD u pacjentów niereagujących na długoterminowe leczenie zachowawcze jest zespolenie międzytrzonowe, ale jest to kontrowersyjne. Ponieważ niektóre doniesienia nie wykazują korzyści w porównaniu z leczeniem zachowawczym, niezwykle ważny jest dobór pacjentów. Różne testy prognostyczne próbują zidentyfikować podgrupy pacjentów, którzy mogą odnieść największe korzyści z operacji, ale ważność tych testów jest niejasna. Ostatecznie sukces w tej kategorii pacjentów powinien być definiowany przez poprawę objawów fizycznych (miara wyniku zgłaszana przez pacjenta [PROM]), a nie techniczny sukces procedury. Odpowiedni odsetek pacjentów z nieuleczalną, oporną na leczenie zachowawcze chorobą zwyrodnieniową odcinka lędźwiowego w końcu odnosi korzyści z operacji zespolenia odcinka lędźwiowego – trudne pytanie brzmi, jak ich bezpiecznie zidentyfikować i uniknąć niepotrzebnej, nieudanej operacji.

W literaturze zidentyfikowano kilka podgrup pacjentów z chorobą zwyrodnieniową odcinka lędźwiowego, którzy mogą odnieść większe korzyści niż inni z zespolenia kręgosłupa lędźwiowego. Dokładna przedoperacyjna identyfikacja pacjentów z wysokim ryzykiem niezadowalającego wyniku i odwrotnie byłaby korzystna klinicznie, ponieważ umożliwiłaby lepsze przygotowanie zasobów, lepsze podejmowanie decyzji chirurgicznych, lepszą edukację pacjentów i świadomą zgodę, a potencjalnie nawet modyfikację niektórych czynników ryzyka dla niezadowalający wynik. Jednak klinicyści często nie są w stanie zrównoważyć wielu opisanych pojedynczych czynników ryzyka dla każdego zdarzenia niepożądanego, aby uzyskać spersonalizowany profil ryzyka i korzyści u poszczególnych pacjentów.

Metody uczenia maszynowego (ML) są niezwykle skuteczne w integrowaniu wielu klinicznych zmiennych pacjenta w jedną całościową prognozę ryzyka dostosowaną do każdego pacjenta. Jeden wieloośrodkowy model oparty na klasycznej statystyce został już opisany przez Khor i in. - Jednak po zewnętrznej weryfikacji okazało się, że jest niewiarygodny i raczej słabo skalibrowany. Ponadto model ten oparto na stosunkowo niewielkiej liczbie pacjentów z ML. Celem badania FUSE-ML jest opracowanie i zewnętrzna weryfikacja solidnego narzędzia prognozowania opartego na ML, opartego na wieloośrodkowych danych z wielu międzynarodowych ośrodków, które zapewnią zindywidualizowane profile ryzyka i korzyści dostosowane do każdego pacjenta poddawanego zespoleniu kręgosłupa lędźwiowego z powodu choroby zwyrodnieniowej .

Metody Przegląd Dane będą gromadzone przez szereg międzynarodowych ośrodków. Ogólnie rzecz biorąc, modele zostaną zbudowane, a publikacja zostanie skompilowana zgodnie z przejrzystym raportowaniem wielowymiarowego modelu predykcyjnego na potrzeby indywidualnej prognozy lub wytycznych diagnostycznych (TRIPOD). Dla każdego z istotnych wyników wyszczególnionych poniżej zostanie utworzony jeden model.

Uniwersytet w Zurychu (V.E. Staartjes, C. Serra) jest sponsorem tego badania.

Względy etyczne Każdy ośrodek będzie odpowiedzialny za zatwierdzenie własnej rady ds. etyki / instytucjonalnej komisji rewizyjnej (IRB) oraz za ustanowienie umowy o przekazywaniu danych (DTA). Sponsor (Uniwersytet w Zurychu) na żądanie przedstawi standardowe DTA. Muszą uzyskać zgodę na retrospektywne lub prospektywne gromadzenie danych i udostępnianie sponsorowi całkowicie zanonimizowanych danych. Sponsor może pomóc, dostarczając ten szczegółowy protokół badania. Wszystkie procedury badawcze będą przeprowadzane zgodnie z Deklaracją Helsińską i jej poprawkami.

Kryteria włączenia i wyłączenia Pacjenci z następującymi wskazaniami do wkręcenia śruby przeznasadowej w odcinku piersiowo-lędźwiowym są brani pod uwagę do włączenia: patologie zwyrodnieniowe (jedna lub wiele z następujących: zwężenie kanału kręgowego, kręgozmyk, choroba zwyrodnieniowa krążka międzykręgowego, nawracająca przepuklina krążka międzykręgowego, zespół nieudanej operacji kręgosłupa (FBSS), radikulopatia, staw rzekomy). Nie kwalifikują się pacjenci poddawani zabiegom operacyjnym z powodu - jako podstawowego wskazania - infekcji, guzów kręgów, a także złamań urazowych i osteoporotycznych lub operacji deformacji skoliozy lub kifozy. Pacjenci z umiarkowaną lub ciężką skoliozą (coronal Cobb > 30 stopni / modyfikator strzałkowy klasyfikacji Schwaba + lub ++) nie kwalifikują się. Pacjenci poddawani operacjom na więcej niż 6 poziomach kręgów również nie kwalifikują się. Pacjenci z brakującymi danymi punktu końcowego po 12 miesiącach zostaną wykluczeni. Pacjenci są zobowiązani do wyrażenia świadomej zgody. Tylko pacjenci w wieku 18 lat lub starsi są brani pod uwagę do włączenia.

Zbieranie danych Każdy ośrodek będzie zbierał swoje dane albo retrospektywnie, z prospektywnego rejestru, albo z prospektywnego rejestru uzupełnionego retrospektywnie zebranymi zmiennymi. Każdy ośrodek musi zgłosić co najmniej 100 pacjentów z pełnymi 12-miesięcznymi danymi kontrolnymi, aby włączyć je do badania. Sponsor zapewni ustandaryzowaną bazę danych Excel do anonimowego wprowadzania danych. Dane będą wprowadzane w ustandaryzowanej i zanonimizowanej formie. Ta baza danych programu Excel będzie zawierała tylko numer pacjenta związany z badaniem. Każdy ośrodek będzie prowadził wewnętrzny arkusz kalkulacyjny, w którym numery pacjentów specyficzne dla badania można prześledzić wstecz do numerów pacjentów specyficznych dla danego ośrodka, jeśli będzie to konieczne. Termin przekazania kompletnych danych do instytucji sponsorującej upływa 13 sierpnia 2021 r.

Centra Autorskie będą musiały przesłać co najmniej 100 przypadków z pełnymi danymi końcowymi, aby mogły zostać włączone do badania. Każdy uczestniczący ośrodek będzie mógł wskazać maksymalnie czterech autorów, którzy zostaną umieszczeni na liście autorów. Wszyscy inni współpracownicy z poszczególnych ośrodków zostaną wymienieni jako pełnoprawni członkowie grupy badawczej FUSE-ML i otrzymają pełny status współtwórców PubMed / Medline. Instytucja sponsorująca będzie dysponować sześcioma głównymi stanowiskami autorskimi.

Definicje podstawowych punktów końcowych

Ocenionych zostanie kilka punktów końcowych:

• 1. Oswestry Disability Index (ODI) po 12 miesiącach.
• 2. Wizualna skala analogowa (VAS-BP, 0 do 100) dla bólu pleców po 12 miesiącach. Może to być również przekonwertowana numeryczna skala ocen (NRS) od 0 do 10 lub VAS od 0 do 10 przekonwertowany na 0 do 100.
• 3. Wizualna skala analogowa (VAS-LP, 0 do 100) dla bólu nóg w wieku 12 miesięcy. Może to być również przekonwertowana numeryczna skala ocen (NRS) od 0 do 10 lub VAS od 0 do 10 przekonwertowany na 0 do 100.

Wyniki te zostaną podzielone na dychotomie przy użyciu minimalnej klinicznie istotnej różnicy (MCID) według Ostelo i in. Zatem poprawa o 30% lub więcej określonego wyniku w porównaniu z wartością wyjściową będzie uważana za osiągnięcie MCID (sukces kliniczny) w tym konkretnym wyniku. Jeśli pacjenci początkowo wykazywali zerowe objawy (w ODI, NRS-BP lub NRS-LP) i pozostali na poziomie zerowym dla tego wyniku, zostanie to również zdefiniowane jako MCID dla tego wyniku.

Funkcje i ich definicje

Wszystkie cechy są mierzone lub oceniane przed operacją. Oprócz punktów końcowych zbierane będą następujące cechy wejściowe:

• Wiek (lata)
• Płeć (mężczyzna/k)

• Obecność następujących wskazań do zabiegu (wybierz wszystkie pasujące):

  • kręgozmyk
  • (Nawracająca) przepuklina dysku
  • Radikulopatia
  • Przewlekły ból krzyża (CLBP) / Choroba zwyrodnieniowa dysku (DDD)
  • Zespół nieudanej operacji kręgosłupa (FBSS)
  • Stenoza kanału kręgowego w odcinku lędźwiowym
  • Staw rzekomy
• Poziom(y) indeksu (wybierz wszystkie pasujące, T12 - S1)
• Wzrost (cm)
• waga (kg)
• BMI (kg/m2)
• Status palenia (aktywny / rzucił / nigdy)
• Przedoperacyjne (wyjściowe) ODI
• Przedoperacyjny (wyjściowy) VAS-BP
• Przedoperacyjny (wyjściowy) VAS-LP
• Wynik American Society of Anesthesiologists (ASA) (1-2 / 3 lub wyższy)
• Przedoperacyjne stosowanie opioidowych leków przeciwbólowych (tak/nie)
• Astma płucna jako choroba współistniejąca (tak/nie)
• Przebyta operacja kręgosłupa piersiowo-lędźwiowego (tak/nie)
• Rasa/pochodzenie etniczne (kaukaskie/czarne/azjatyckie/inne)
• Dostęp chirurgiczny (wybierz wszystkie pasujące: TLIF / PLIF / ALIF / Lateral)
• Wprowadzanie śruby przeznasadowej (tak/nie)
• Technika małoinwazyjna (tak/nie)

Wielkość próby Chociaż nawet największa kohorta z milionami pacjentów nie gwarantuje uzyskania solidnego klinicznego modelu prognozowania, jeśli nie zostaną uwzględnione żadne istotne zmienne wejściowe („śmieci na wejściu, śmieci na wyjściu” – nie oczekuj przewidywania przyszłości na podstawie wieku, płci, i wskaźnik masy ciała), związek między wydajnością predykcyjną a wielkością próby jest z pewnością wprost proporcjonalny, szczególnie w przypadku niektórych algorytmów ML wymagających dużej ilości danych. Aby zapewnić możliwość uogólnienia klinicznego modelu predykcyjnego, wielkość próby powinna być zarówno wystarczająco reprezentatywna dla populacji pacjentów, jak i powinna uwzględniać złożoność algorytmu. Na przykład głęboka sieć neuronowa – jako przykład bardzo złożonego modelu – będzie często wymagała zbieżności tysięcy pacjentów, podczas gdy model regresji logistycznej może osiągnąć stabilne wyniki przy zaledwie kilkuset pacjentach. Ponadto pewną rolę odgrywa liczba zmiennych wejściowych. Z grubsza można powiedzieć, że do modelowania relacji potrzeba minimum 10 pozytywnych przypadków na uwzględnioną zmienną wejściową. Często obserwuje się błędne zachowanie modeli i duże zróżnicowanie wydajności między podziałami, gdy rozmiary próbek są mniejsze niż obliczono za pomocą tej praktycznej reguły. Kluczowe znaczenie ma również odsetek pacjentów, którzy doświadczają wyniku. W przypadku bardzo rzadkich zdarzeń w konsekwencji potrzebna jest znacznie większa łączna wielkość próby. Na przykład prognoza oparta na 10 cechach wejściowych dla wyniku występującego tylko w 10% przypadków wymagałaby co najmniej 1000 pacjentów, w tym co najmniej 100, którzy doświadczyli wyniku, zgodnie z powyższą praktyczną zasadą. Ogólnie i na podstawie własnego doświadczenia, autorzy nie zalecają opracowywania modeli ML na kohortach z mniej niż 100 pozytywnymi przypadkami i rozsądnie większą liczbą przypadków łącznie, niezależnie od rzadkości wyniku. Można również wziąć pod uwagę dostępną literaturę na temat czynników ryzyka dla wyniku będącego przedmiotem zainteresowania: jeśli badania epidemiologiczne wykażą jedynie słabe powiązania z wynikiem, prawdopodobne jest, że potrzeba będzie większej liczby pacjentów, aby uzyskać model o dobrej wydajności predykcyjnej, w przeciwieństwie do wynik, który ma kilka silnie powiązanych czynników ryzyka, które mogą być łatwiejsze do przewidzenia. Większe rozmiary próbek pozwalają również na bardziej hojną ocenę dzięki większej ilości danych pacjenta przeznaczonych do szkolenia lub walidacji i zwykle skutkują lepszymi pomiarami kalibracyjnymi.

Od 20% do 40% pacjentów nie zgłasza istotnej klinicznie poprawy po zespoleniu kręgosłupa (klasa mniejszości). Do obliczenia wielkości próby autorzy przyjmują 20% jako ostrożne oszacowanie. W związku z tym, w przypadku tego badania, w oparciu o wiedzę autorów i praktyczne zasady wspomniane powyżej, autorzy szacują, że do wyodrębnienia możliwych do uogólnienia zależności między cechami potrzeba co najmniej 200 pacjentów z wynikiem negatywnym (klasa mniejszościowa). Przy szacowanej częstości występowania wynoszącej około 20%, jak wyjaśniono powyżej, oznacza to, że do szkolenia potrzeba co najmniej około 1000 pacjentów. Autorzy szacują, że do odpowiedniej oceny kalibracji podczas walidacji zewnętrznej potrzebnych będzie kolejnych 300 pacjentów (czyli około 60 pacjentów z wynikiem pozytywnym). W sumie autorzy szacują, że do uzyskania solidnego modelu potrzebnych jest co najmniej 1300 pacjentów. Więcej danych prawdopodobnie doprowadzi do większej wydajności i lepszej kalibracji.

Modelowanie predykcyjne Komputer KNN zostanie przeszkolony w zakresie imputacji wszelkich brakujących danych, które mogą wystąpić w przyszłym zastosowaniu modelu. Jeśli w zbiorze uczącym brakuje danych, zostaną one przypisane przy użyciu wspomnianego imputera KNN. Cechy lub pacjenci z brakami większymi niż 25% zostaną wykluczeni. Dane będą ustandaryzowane i zakodowane na gorąco. W przypadku dużej nierównowagi klas – co jest spodziewane dla w/w punktu końcowego – do zbioru uczącego zostanie zastosowany losowy upsampling lub syntetyczny oversampling mniejszościowy (SMOTE). Wszystkie funkcje zostaną początkowo udostępnione modelowi do szkolenia. W razie potrzeby autorzy zastosują rekurencyjną eliminację cech (RFE) w celu wybrania cech wejściowych danych treningowych.

Autorzy przetestują następujące algorytmy klasyfikacji binarnej: uogólniony model liniowy (GLM), uogólniony model addytywny (GAM), stochastyczna maszyna wzmacniająca gradient (GBM), naiwny klasyfikator Bayesa, prosta sztuczna sieć neuronowa, maszyna wektorów nośnych (SVM) i przypadkowy las. Każdy model zostanie w pełni wyszkolony i dostrojony hiperparametrami tam, gdzie ma to zastosowanie. Ostateczny model zostanie wybrany na podstawie AUC, czułości i specyficzności, a także metryk kalibracji ponownie próbkowanej wydajności treningowej. Szkolenie odbędzie się w powtarzanej 5-krotnej walidacji krzyżowej z 10 powtórzeniami.

Ostateczny model zostanie następnie oceniony na podstawie danych z walidacji zewnętrznej tylko raz. 95% przedziały ufności dla zewnętrznych metryk walidacji zostaną wyprowadzone przy użyciu ładowania początkowego.

Próg klasyfikacji binarnej zostanie określony na samych danych treningowych przy użyciu opartego na AUC „najbliższego (0,1) kryterium” lub wskaźnika Youdena w celu optymalizacji zarówno czułości, jak i swoistości, albo zostanie zoptymalizowany na zbiorze treningowym na podstawie istotności klinicznej (model wykluczenia). Wszystkie analizy zostaną przeprowadzone w wersji R 4.0.2 lub nowszej.

Ocena Wydajność modeli klasyfikacyjnych można z grubsza ocenić w dwóch wymiarach: dyskryminacja modelu i kalibracja. Termin dyskryminacja oznacza zdolność modelu predykcyjnego do prawidłowej klasyfikacji, czy dany pacjent doświadczy lub nie doświadczy określonego wyniku. Tak więc dyskryminacja opisywała dokładność prognozy binarnej - tak lub nie. Kalibracja opisuje jednak stopień, w jakim przewidywane przez model prawdopodobieństwa (w zakresie od 0% do 100%) odpowiadają faktycznie zaobserwowanej częstości występowania binarnego punktu końcowego (prawdziwego późniejszego). Wiele publikacji nie podaje metryk kalibracji, chociaż mają one kluczowe znaczenie, ponieważ dobrze skalibrowane przewidywane prawdopodobieństwo (np. Twoje przewidywane prawdopodobieństwo wystąpienia komplikacji wynosi 18%), jest często o wiele bardziej wartościowe dla klinicystów - i pacjentów! - niż predykcja binarna (np. prawdopodobnie nie doświadczysz komplikacji).

Ponownie próbkowane wyniki treningowe, jak również wyniki na zewnętrznym zbiorze walidacyjnym zostaną ocenione pod kątem dyskryminacji i kalibracji. Pod względem dyskryminacji autorzy ocenią AUC, dokładność, czułość, specyficzność, dodatnią wartość predykcyjną (PPV), ujemną wartość predykcyjną (NPV) oraz wynik F1. Jeśli chodzi o kalibrację, autorzy ocenią wynik Briera, stosunek oczekiwanych do obserwowanych (E/O), nachylenie i punkt przecięcia kalibracji, test dobroci dopasowania Hosmera-Lemeshow, a także wizualną kontrolę wykresów kalibracyjnych dla obu zbiorów danych, które również zostaną uwzględnione w publikacji.

Interpretowalność Stopień i wybór metod interpretowalności będzie zależał od ostatecznie wybranego algorytmu. Niektóre algorytmy mogą natywnie dostarczać wyjaśnień, które czynniki wpływają na wynik w jaki sposób. Zatem w przypadku np. wybrany zostanie klasyfikator GLM, GAM lub naiwny klasyfikator Bayesa, podane zostaną parametry / częściowe wartości zależności. W przypadku prostych drzew decyzyjnych można przedstawić diagramy procesu decyzyjnego. Inne modele o wyższym stopniu złożoności, takie jak sieci neuronowe lub maszyny zwiększające gradient stochastyczny, nie mogą natywnie zapewnić takich wyjaśnień. W takim przypadku autorzy zapewnią zarówno zmienne znaczenie oparte na AUC, jak i niezależne od modelu lokalne interpretacje o zmiennym znaczeniu przy użyciu zasady LIME.

Oczekiwane wyniki Autorzy spodziewają się, że uzyskają dający się uogólnić model oparty na wieloośrodkowych danych międzynarodowych, który prawdopodobnie będzie konsekwentnie przewidywał z AUC wynoszącym co najmniej 0,70 i który będzie dobrze skalibrowany. Dla każdego z dwóch modeli zostanie również utworzone internetowe narzędzie do przewidywania, wykorzystujące lśniące środowisko, bardzo podobne do np. https://neurosurgery.shinyapps.io/impairment (Patrz także na przykład: Staartjes i in., Journal of Neurosurgery, 2020). Ta aplikacja internetowa będzie dostępna bezpłatnie na każdym urządzeniu z dostępem do Internetu (komórce lub komputerze stacjonarnym) i powinna działać stabilnie na większości urządzeń ze względu na przetwarzanie oparte na serwerze. Koszty utrzymania serwera ponosi sponsor. Zebrane dane będą przechowywane przez sponsora przez 10 lat. Duży zbiór danych będzie otwarty do dalszej analizy i zostanie dostarczony każdemu z ośrodków wnoszących wkład na uzasadnione żądanie i po zatwierdzeniu przez wszystkie inne ośrodki. Celem jest umożliwienie innych analiz z wykorzystaniem zebranego zbioru danych. Jeśli jakiekolwiek dodatkowe analizy doprowadzą do publikacji, wszyscy współautorzy zostaną włączeni jako współautorzy, a wszyscy współautorzy będą mieli możliwość wcześniejszego przejrzenia manuskryptu. Każdy ośrodek badawczy wnoszący wkład ma prawo zawetować publikację wszelkich późniejszych analiz zawierających własne dane.