Vorhersage der Ergebnisse nach Lumbalfusion bei degenerativen Erkrankungen (FUSE-ML)

Einleitung Rückenschmerzen sind eine der drei häufigsten Ursachen für Behinderungen in westlichen Gesellschaften und verursachen erhebliche direkte und indirekte sozioökonomische Kosten. Die Ätiologie von Kreuzschmerzen mit oder ohne ausstrahlenden Schmerzen in den Beinen ist multifaktoriell, aber sie steht oft im Zusammenhang mit einer degenerativen Bandscheibenerkrankung (DDD) oder einer Spondylolisthese. Die Standardbehandlung für symptomatische Spondylolisthese oder progrediente DDD bei Patienten, die auf eine langfristige konservative Behandlung nicht ansprechen, ist die Fusion zwischen den Körpern, aber dies ist umstritten. Da einige Berichte keinen Nutzen im Vergleich zur konservativen Behandlung zeigen, ist die Patientenauswahl von entscheidender Bedeutung. Verschiedene prognostische Tests versuchen, Untergruppen von Patienten zu identifizieren, die am meisten von einer Operation profitieren könnten, aber die Gültigkeit dieser Tests ist unklar. Letztendlich sollte der Erfolg in dieser Patientenkategorie eher durch verbesserte körperliche Symptome (Patient-Reported Outcome Measures [PROMs]) als durch den technischen Erfolg des Verfahrens definiert werden. Ein relevanter Teil der Patienten mit hartnäckigen, konservativ therapieresistenten lumbalen degenerativen Erkrankungen profitiert schließlich von einer lumbalen Fusionsoperation – die schwierige Frage ist, wie sie sicher identifiziert und unnötige, erfolglose Operationen vermieden werden können.

In der Literatur wurden mehrere Untergruppen von Patienten mit lumbaler degenerativer Erkrankung identifiziert, die mehr als andere von einer lumbalen Wirbelsäulenversteifung profitieren könnten. Eine genaue präoperative Identifizierung von Patienten mit hohem Risiko für ein unbefriedigendes Ergebnis und umgekehrt wäre klinisch von Vorteil, da sie eine verbesserte Ressourcenvorbereitung, eine bessere chirurgische Entscheidungsfindung, eine verbesserte Patientenaufklärung und informierte Zustimmung und möglicherweise sogar eine Änderung bestimmter Risikofaktoren ermöglichen würde unbefriedigendes Ergebnis. Für Kliniker ist es jedoch oft unmöglich, die vielen beschriebenen einzelnen Risikofaktoren für jede Nebenwirkung abzuwägen, um zu einem personalisierten Nutzen-Risiko-Profil bei einzelnen Patienten zu gelangen.

Methoden des maschinellen Lernens (ML) waren außerordentlich effektiv bei der Integration vieler klinischer Patientenvariablen in eine ganzheitliche Risikovorhersage, die auf jeden Patienten zugeschnitten ist. Ein auf klassischer Statistik basierendes multizentrisches Modell wurde bereits von Khor et al. - Bei externer Validierung erwies es sich jedoch als unzuverlässig und ziemlich schlecht kalibriert. Außerdem basierte dieses Modell auf einer relativ kleinen Anzahl von Patienten für ML. Ziel der FUSE-ML-Studie ist die Entwicklung und externe Validierung eines robusten ML-basierten Vorhersageinstruments auf der Grundlage multizentrischer Daten aus einer Reihe internationaler Zentren, das individualisierte Risiko-Nutzen-Profile liefert, die auf jeden Patienten zugeschnitten sind, der sich einer lumbalen Wirbelsäulenfusion wegen degenerativer Erkrankungen unterzieht .

Methodenübersicht Die Daten werden von einer Reihe internationaler Zentren erhoben. Insgesamt werden die Modelle aufgebaut und veröffentlicht gemäß der transparenten Berichterstattung eines multivariablen Vorhersagemodells für individuelle Prognose- oder Diagnoseleitlinien (TRIPOD). Für jedes der unten aufgeführten relevanten Ergebnisse wird ein Modell erstellt.

Universität Zürich (V.E. Staartjes, C. Serra) ist der Sponsor dieser Studie.

Ethische Erwägungen Jedes Zentrum ist für die Genehmigung seines eigenen Ethikausschusses/Institutionellen Prüfungsausschusses (IRB) und für die Erstellung einer Datenübertragungsvereinbarung (DTA) verantwortlich. Der Auftraggeber (Universität Zürich) legt auf Anfrage ein Standard-DBA vor. Sie müssen eine Genehmigung für die retrospektive oder prospektive Datenerhebung und den Austausch der vollständig anonymisierten Daten mit dem Sponsor einholen. Der Sponsor kann helfen, indem er dieses detaillierte Studienprotokoll bereitstellt. Alle Studienverfahren werden gemäß der Deklaration von Helsinki und ihren Änderungen durchgeführt.

Einschluss- und Ausschlusskriterien Patienten mit den folgenden Indikationen für die Platzierung einer thorakolumbalen Pedikelschraube werden für die Aufnahme in Betracht gezogen: Degenerative Pathologien (eine oder mehrere der folgenden: Spinalkanalstenose, Spondylolisthese, degenerative Bandscheibenerkrankung, rezidivierender Bandscheibenvorfall, Failed-Back-Surgery-Syndrom (FBSS), Radikulopathie, Pseudarthrose). Patienten, die sich wegen Infektionen, Wirbeltumoren sowie traumatischen und osteoporotischen Frakturen oder Deformitätsoperationen wegen Skoliose oder Kyphose operieren lassen – als primäre Indikation – sind nicht förderfähig. Patienten mit mittelschwerer oder schwerer Skoliose (Coronal Cobb's > 30 Grad / Schwab-Klassifikation Sagittalmodifikator + oder ++) sind nicht teilnahmeberechtigt. Patienten, die sich einer Operation an mehr als 6 Wirbelebenen unterziehen, sind ebenfalls nicht förderfähig. Patienten mit fehlenden Endpunktdaten nach 12 Monaten werden ausgeschlossen. Die Patienten müssen eine informierte Einwilligung geben. Nur Patienten ab 18 Jahren werden für die Aufnahme in Betracht gezogen.

Datenerhebung Jedes Zentrum wird seine Daten entweder rückwirkend aus einem prospektiven Register oder aus einem prospektiven Register, ergänzt durch retrospektiv erhobene Variablen, erheben. Jedes Zentrum muss mindestens 100 Patienten mit vollständigen 12-Monats-Follow-up-Daten beisteuern, um in die Studie aufgenommen zu werden. Zur anonymen Dateneingabe wird vom Sponsor eine standardisierte Excel-Datenbank zur Verfügung gestellt. Die Eingabe der Daten erfolgt in standardisierter und anonymisierter Form. Diese Excel-Datenbank enthält nur eine studienspezifische Patientennummer. Jedes Zentrum führt eine interne Tabelle, in der die studienspezifischen Patientennummern auf zentrumsspezifische Patientennummern zurückgeführt werden können, falls dies erforderlich ist. Die Frist für die Einreichung der vollständigen Daten bei der Trägerinstitution ist der 13. August 2021.

Autorenschaftszentren müssen insgesamt mindestens 100 Fälle mit vollständigen Outcome-Daten beisteuern, um in die Studie aufgenommen zu werden. Jedes teilnehmende Zentrum kann maximal vier Autoren benennen, die in die Autorenliste aufgenommen werden. Alle anderen zentrumsspezifischen Mitwirkenden werden als Vollmitglieder der FUSE-ML-Studiengruppe aufgeführt und erhalten den vollen PubMed-/Medline-Mitwirkendenstatus. Die Förderinstitution wird sechs Hauptautorenstellen zur Verfügung haben.

Primäre Endpunktdefinitionen

Mehrere Endpunkte werden bewertet:

• 1. Oswestry Disability Index (ODI) nach 12 Monaten.
• 2. Visuelle Analogskala (VAS-BP, 0 bis 100) für Rückenschmerzen nach 12 Monaten. Dies kann auch eine konvertierte numerische Bewertungsskala (NRS) von 0-10 oder eine VAS von 0 bis 10, konvertiert in 0 bis 100, sein.
• 3. Visuelle Analogskala (VAS-LP, 0 bis 100) für Beinschmerzen nach 12 Monaten. Dies kann auch eine konvertierte numerische Bewertungsskala (NRS) von 0-10 oder eine VAS von 0 bis 10, konvertiert in 0 bis 100, sein.

Diese Ergebnisse werden unter Verwendung der minimalen klinisch bedeutsamen Differenz (MCID) nach Ostelo et al. dichotomisiert. Daher wird eine Verbesserung um 30 % oder mehr in einem bestimmten Score im Vergleich zum Ausgangswert als Erreichen des MCID (klinischer Erfolg) in diesem bestimmten Score betrachtet. Wenn sich Patienten anfänglich mit null Symptomen (entweder in ODI, NRS-BP oder NRS-LP) vorstellten und für diesen Score bei null blieben, wird dies auch als MCID für diesen Score definiert.

Merkmale und ihre Definitionen

Alle Merkmale werden präoperativ gemessen oder geschätzt. Zusätzlich zu den Endpunkten werden die folgenden Eingabemerkmale erfasst:

• Alter Jahre)
• Geschlecht (m/w)

• Vorliegen der folgenden Indikationen für eine Operation (alles Zutreffende auswählen):

  • Spondylolisthese
  • (Wiederkehrender) Bandscheibenvorfall
  • Radikulopathie
  • Chronischer Kreuzschmerz (CLBP) / Degenerative Bandscheibenerkrankung (DDD)
  • Failed Back Surgery Syndrome (FBSS)
  • Lumbale Spinalkanalstenose
  • Pseudarthrose
• Indexstufe(n) (alles Zutreffende auswählen, T12 - S1)
• Höhe (cm)
• Gewicht (kg)
• BMI (kg/m2)
• Raucherstatus (aktiv / aufgehört / nie)
• Präoperativer (Baseline) ODI
• Präoperativ (Baseline) VAS-BP
• Präoperative (Baseline) VAS-LP
• Bewertung der American Society of Anesthesiologists (ASA) (1-2 / 3 oder höher)
• Präoperative Einnahme von Opioid-Schmerzmitteln (ja/nein)
• Asthma pulmonale als Komorbidität (ja / nein)
• Vorherige thorakolumbale Wirbelsäulenoperation (ja / nein)
• Rasse/Ethnie (Kaukasier/Schwarz/Asiatisch/Andere)
• Chirurgischer Zugang (alle zutreffenden auswählen: TLIF / PLIF / ALIF / Lateral)
• Pedikelschraubeninsertion (ja / nein)
• Minimalinvasive Technik (ja / nein)

Stichprobengröße Auch wenn selbst die größte Kohorte mit Millionen von Patienten nicht garantiert zu einem robusten klinischen Vorhersagemodell führt, wenn keine relevanten Eingabevariablen enthalten sind („Garbage in, Garbage out“ – erwarten Sie nicht, die Zukunft anhand von Alter, Geschlecht, und Body-Mass-Index), ist die Beziehung zwischen Vorhersageleistung und Stichprobengröße sicherlich direkt proportional, insbesondere für einige datenhungrige ML-Algorithmen. Um die Verallgemeinerbarkeit des klinischen Vorhersagemodells zu gewährleisten, sollte die Stichprobengröße sowohl repräsentativ genug für die Patientenpopulation sein als auch die Komplexität des Algorithmus berücksichtigen. Beispielsweise erfordert ein tiefes neuronales Netzwerk – als Beispiel für ein hochkomplexes Modell – oft Tausende von Patienten, um zu konvergieren, während ein logistisches Regressionsmodell mit nur wenigen Hundert Patienten stabile Ergebnisse erzielen kann. Außerdem spielt die Anzahl der Eingangsvariablen eine Rolle. Grob kann man sagen, dass zur Modellierung der Zusammenhänge pro enthaltener Eingangsvariable mindestens 10 positive Fälle benötigt werden. Häufig werden ein unregelmäßiges Verhalten der Modelle und eine hohe Varianz der Leistung zwischen Splits beobachtet, wenn die Stichprobenumfänge kleiner sind als mit dieser Faustregel berechnet. Von zentraler Bedeutung ist auch der Anteil der Patienten, die das Outcome erfahren. Für sehr seltene Ereignisse ist folglich eine viel größere Gesamtstichprobengröße erforderlich. Beispielsweise würde eine Vorhersage auf der Grundlage von 10 Eingabemerkmalen für ein Ergebnis, das nur in 10 % der Fälle auftritt, gemäß der obigen Faustregel mindestens 1000 Patienten erfordern, darunter mindestens 100, bei denen das Ergebnis aufgetreten ist. Im Allgemeinen und aus persönlicher Erfahrung empfehlen die Autoren nicht, ML-Modelle für Kohorten mit weniger als 100 positiven Fällen und angemessen mehr Fällen insgesamt zu entwickeln, unabhängig von der Seltenheit des Ergebnisses. Auch könnte man die verfügbare Literatur zu Risikofaktoren für den Endpunkt von Interesse betrachten: Wenn epidemiologische Studien nur schwache Assoziationen mit dem Endpunkt finden, ist es wahrscheinlich, dass man mehr Patienten benötigt, um zu einem Modell mit guter Vorhersageleistung zu gelangen, im Gegensatz zu ein Ergebnis, das mehrere hochgradig assoziierte Risikofaktoren aufweist, die möglicherweise leichter vorherzusagen sind. Größere Stichprobenumfänge ermöglichen auch eine großzügigere Auswertung durch eine größere Menge an Patientendaten, die dem Training oder der Validierung gewidmet sind, und führen normalerweise zu besseren Kalibrierungsmessungen.

Zwischen 20 % und 40 % der Patienten berichten über keine klinisch relevante Verbesserung nach Wirbelsäulenversteifung (Minderheitsklasse). Für die Berechnung der Stichprobengröße nehmen die Autoren 20 % für eine konservative Schätzung. Folglich schätzen die Autoren für diese Studie, basierend auf der Expertise der Autoren und den oben genannten Faustregeln, dass mindestens 200 Patienten mit negativem Ergebnis (Minderheitsklasse) erforderlich sind, um verallgemeinerbare Merkmalsbeziehungen zu extrahieren. Bei einer geschätzten Inzidenz von etwa 20 %, wie oben erläutert, bedeutet dies, dass mindestens etwa 1000 Patienten für das Training benötigt werden. Für eine adäquate Evaluation der Kalibrierung bei externer Validierung schätzen die Autoren, dass weitere 300 Patienten benötigt werden (also ca. 60 Patienten mit positivem Outcome). Insgesamt schätzen die Autoren, dass mindestens 1300 Patienten notwendig sind, um zu einem robusten Modell zu gelangen. Mehr Daten führen wahrscheinlich zu einer höheren Leistung und einer besseren Kalibrierung.

Prädiktive Modellierung Ein KNN-Imputer wird gemeinsam trainiert, um alle fehlenden Daten zu imputieren, die bei der zukünftigen Anwendung des Modells auftreten können. Wenn im Trainingssatz Daten fehlen, werden sie unter Verwendung des KNN-Imputierers imputiert. Merkmale oder Patienten mit einem Fehlen von mehr als 25 % werden ausgeschlossen. Die Daten werden standardisiert und One-Hot-kodiert. Im Falle eines größeren Klassenungleichgewichts – das für den oben genannten Endpunkt erwartet wird – wird zufälliges Upsampling oder synthetisches Minoritäts-Oversampling (SMOTE) auf den Trainingssatz angewendet. Alle Funktionen werden dem Modell zunächst für das Training zur Verfügung gestellt. Bei Bedarf wenden die Autoren die rekursive Merkmalseliminierung (RFE) an, um Eingabemerkmale auf den Trainingsdaten auszuwählen.

Die Autoren werden die folgenden Algorithmen für die binäre Klassifikation testen: Verallgemeinertes lineares Modell (GLM), verallgemeinertes additives Modell (GAM), stochastische Gradientenverstärkungsmaschine (GBM), naiver Bayes-Klassifikator, einfaches künstliches neuronales Netzwerk, Support-Vektor-Maschine (SVM) und zufälliger Wald. Jedes Modell wird vollständig trainiert und gegebenenfalls hyperparametergetuned. Das endgültige Modell wird basierend auf AUC, Sensitivität und Spezifität sowie Kalibrierungsmetriken für die neu abgetastete Trainingsleistung ausgewählt. Das Training erfolgt in wiederholter 5-facher Kreuzvalidierung mit 10 Wiederholungen.

Das eine endgültige Modell wird dann nur einmal anhand der externen Validierungsdaten bewertet. 95 %-Konfidenzintervalle für externe Validierungsmetriken werden mithilfe des Bootstrap abgeleitet.

Der Schwellenwert für die binäre Klassifizierung wird entweder anhand der Trainingsdaten allein unter Verwendung des AUC-basierten „Nächst-zu-(0,1)-Kriteriums“ oder des Youden-Index identifiziert, um sowohl die Sensitivität als auch die Spezifität zu optimieren, oder er wird anhand des Trainingssatzes optimiert basierend auf klinischer Signifikanz (Ausschlussmodell). Alle Analysen werden in R Version 4.0.2 oder neuer durchgeführt.

Bewertung Die Leistungsfähigkeit von Klassifikationsmodellen kann grob entlang zweier Dimensionen beurteilt werden: Modelldiskriminierung und Kalibrierung. Der Begriff Diskriminierung bezeichnet die Fähigkeit eines Vorhersagemodells, korrekt zu klassifizieren, ob ein bestimmter Patient ein bestimmtes Ergebnis erleiden wird oder nicht. Somit beschrieb Diskriminierung die Genauigkeit einer binären Vorhersage - ja oder nein. Die Kalibrierung beschreibt jedoch den Grad, in dem die vorhergesagten Wahrscheinlichkeiten eines Modells (im Bereich von 0 % bis 100 %) mit der tatsächlich beobachteten Inzidenz des binären Endpunkts (true posterior) übereinstimmen. Viele Publikationen berichten keine Kalibrierungsmetriken, obwohl diese von zentraler Bedeutung sind, da eine gut kalibrierte vorhergesagte Wahrscheinlichkeit (z. Ihre prognostizierte Wahrscheinlichkeit, dass eine Komplikation auftritt, liegt bei 18%) ist oft viel wertvoller für Kliniker – und Patienten! - als eine binäre Vorhersage (z.B. Sie werden wahrscheinlich keine Komplikationen erleben).

Die neu abgetastete Trainingsleistung sowie die Leistung auf dem externen Validierungsset werden auf Diskrimination und Kalibrierung bewertet. In Bezug auf Diskrimination werden die Autoren AUC, Genauigkeit, Sensitivität, Spezifität, positiver prädiktiver Wert (PPV), negativer prädiktiver Wert (NPV) und F1-Score bewerten. In Bezug auf die Kalibrierung werden die Autoren den Brier-Score, das erwartete-beobachtete (E/O)-Verhältnis, die Kalibrierungssteigung und den Achsenabschnitt, den Hosmer-Lemeshow-Anpassungstest sowie die visuelle Inspektion der Kalibrierungsplots für beide bewerten Datensätze, die ebenfalls in die Veröffentlichung aufgenommen werden.

Interpretierbarkeit Der Grad und die Wahl der Methoden für die Interpretierbarkeit hängen vom letztendlich gewählten Algorithmus ab. Einige Algorithmen können nativ erklären, welche Faktoren das Ergebnis auf welche Weise beeinflussen. Falls also z.B. ein GLM-, GAM- oder naiver Bayes-Klassifikator ausgewählt wird, werden die Parameter/Teilabhängigkeitswerte bereitgestellt. Für einfache Entscheidungsbäume können Diagramme des Entscheidungsprozesses bereitgestellt werden. Andere Modelle mit höheren Komplexitätsgraden, wie z. B. neuronale Netze oder stochastische Gradientenverstärkungsmaschinen, können solche Erklärungen nicht von Haus aus liefern. In diesem Fall werden die Autoren sowohl die AUC-basierte Variablenbedeutung als auch modellunabhängige lokale Interpretationen der Variablenbedeutung unter Verwendung des LIME-Prinzips bereitstellen.

Erwartete Ergebnisse Die Autoren erwarten, zu einem verallgemeinerbaren Modell zu gelangen, das auf multizentrischen internationalen Daten basiert, das wahrscheinlich konsistent eine AUC von mindestens 0,70 vorhersagt und das gut kalibriert ist. Für jedes der beiden Modelle wird auch ein webbasiertes Vorhersagetool erstellt, das die glänzende Umgebung verwendet, ähnlich wie z. https://neurochirurgie.shinyapps.io/impairment (Siehe zum Beispiel auch: Staartjes et al., Journal of Neurosurgery, 2020). Diese webbasierte App wird auf jedem internetfähigen Gerät (mobil oder Desktop) kostenlos verfügbar sein und sollte aufgrund des serverbasierten Computings auf den meisten Geräten stabil laufen. Die Kosten für die Wartung des Servers trägt der Sponsor. Die erhobenen Daten werden vom Sponsor für 10 Jahre gespeichert. Der große Datensatz ist offen für weitere Analysen und wird jedem der beitragenden Zentren auf angemessene Anfrage und nach Genehmigung durch alle anderen Zentren zur Verfügung gestellt. Ziel ist es, anhand des gesammelten Datensatzes weitere Analysen zu ermöglichen. Wenn zusätzliche Analysen zu einer Veröffentlichung führen, werden alle Mitwirkenden als Co-Autoren aufgenommen und alle Co-Autoren haben die Möglichkeit, das Manuskript vorab zu überprüfen. Jedem mitwirkenden Studienzentrum steht ein Vetorecht gegen die Veröffentlichung von Folgeanalysen mit eigenen Daten zu.