A1Check: de externe validatie van een machine learning-model dat colorectale naadlekkage voorspelt (A1Check)

Onderzoeksprocedure Het doel van het onderzoek is het extern valideren van een machine learning model dat colorectale naadlekkage voorspelt. Het voorspellingsmodel dat extern gevalideerd zal worden, wordt ontwikkeld op een prospectieve database. Deze database bevatte gegevens van 2.483 darmkankerpatiënten die tussen januari 2016 en april 2021 een chirurgische ingreep ondergingen in 14 ziekenhuizen, zowel landelijk als academisch in vier verschillende landen (Nederland, Italië, België, Australië). Ongeveer 189 patiënten (7,6%) ontwikkelden colorectale naadlekkage. De modellen voorspelden het risico op colorectale naadlekkage tijdens de operatie, net voor de constructie van de anastomose, met behulp van in totaal 31 variabelen. Deze variabelen bevatten zowel preoperatief beschikbare gegevens als de variabelen met betrekking tot de intraoperatieve toestand van de patiënt. De modellen zijn intern gevalideerd met behulp van 10-voudige kruisvalidatie en vervolgens getest op 20% van de ongeziene gegevens van de database. Het gebied onder de curve - receiver operating Characteristics (AUROC) van het best presterende machine learning-model op de testset was 0,84, met een gevoeligheid van 0,86, specificiteit van 0,78, een positief voorspellende waarde van 0,24 en een negatief voorspellende waarde van 0,99.

Tijdens deze prospectieve simulatiestudie zijn er geen directe voordelen of risico's voor deelnemende patiënten. Deze prospectieve simulatiestudie zal non-interventioneel zijn, de voorspellingsmodellen veranderen niets aan de oorspronkelijke dagelijkse praktijk en is in deze fase niet bedoeld als diagnostisch hulpmiddel. Intraoperatief, vlak voor de constructie van de anastomose, zal het voorspellingsmodel, gebruikmakend van patiënt-, tumor- en intraoperatieve variabelen (opgesomd in de Data Dictionary-paragraaf), de waarschijnlijkheid van naadlekkage voorspellen. SAS VIYA wordt gebruikt voor de implementatie van het machine learning-model. Tijdens de prospectieve simulatiestudie zijn de scores van deze voorspellingen alleen beschikbaar voor de opdrachtgever en onderzoekers, en dus onbekend voor de deelnemende ziekenhuizen of opererende chirurgen om beïnvloeding van de huidige dagelijkse praktijk in deze fase van het onderzoek te voorkomen. Dertig dagen na de operatie worden gegevens van de patiënten over het optreden van naadlekkage verzameld. AUROC, sensitiviteit, specificiteit en nauwkeurigheid worden vervolgens berekend op basis van het aantal patiënten dat als terecht-positief, terecht-negatief, vals-positief of vals-negatief wordt beoordeeld. Na minimaal 100 gebeurtenissen en 100 niet-gebeurtenissen is de externe validatie voltooid en worden de definitieve AUROC-, sensitiviteits- en specificiteitsscores gepresenteerd.

Kwaliteitsborgingsplan, gegevenscontroles, brongegevensverificatie Gegevens worden vertrouwelijk en anoniem behandeld. Gegevens worden pseudo-geanonimiseerd voor de hoofdonderzoeker en de onderzoekers. Pseudo-geanonimiseerde gegevens worden ingevoerd in een Castor-database. Aan de originele dataset wordt een datadictionary gekoppeld met metadata om de data te beschrijven. Alle deelnemende ziekenhuizen hebben een overeenkomst voor het delen van gegevens om gegevens van geïncludeerde patiënten veilig te delen met de hoofdonderzoeker en de onderzoekers. Er zal een datamanagementplan worden gemaakt volgens het beleid van ons instituut met de hulp van een datamanagementexpert, samen met de transparante rapportage van een multivariabel voorspellingsmodel voor richtlijnen voor individuele prognose of diagnose (TRIPOD). De kenmerken van de verzamelde en gegenereerde data zijn klinische gegevens uit de elektronische medische dossiers. Dit bevat continue, nominale en dichotome variabelen. Gegevens worden niet hergebruikt of gekoppeld aan bestaande gegevens. Geïnformeerde toestemming van patiënten is nodig om de uitkomst te voorspellen met behulp van het ontwikkelde model. Privacybeleid en wetten zijn van toepassing op dit project. Het project zal ook voldoen aan alle gegevensbeschermingsprincipes zoals gedefinieerd in de Algemene Verordening Gegevensbescherming. De geanonimiseerde dataset is toegankelijk via een Castor-database. Met behulp van de afdeling research data management (RDM) worden lange termijn data opgeslagen in de Amsterdam UMC repository. De gegevens worden vijf jaar na afloop van het project bewaard.

Data woordenboek

De volgende variabelen worden verzameld van geïncludeerde patiënten:

i. Patiënt- en tumorkenmerken Leeftijd; seks; lichaamsmassa-index; classificatie van de American Society of Anesthesiologists (ASA); dronkenschap (roken en/of alcoholgebruik); medische voorgeschiedenis van diabetes; gebruik van steroïden (niet nasaal); hemoglobine; goedaardige of kwaadaardige aandoening. Als er sprake is van een kwaadaardige ziekte: TNM-stadium, tumorafstand tot anale berm, neoadjuvante behandeling.

ii. Perioperatieve kenmerken Chirurgische ingreep, chirurgische benadering; conversie; optreden van een intraoperatieve gebeurtenis (hypoxische voorvallen, hypercarbia, bradycardie, hypotensie, embolie, reanimatie, uitgebreidere resectie dan gepland, serosa-laesies, blaas- en ureterletsels, intra-operatieve bloeding, splenectomie) iii. Karakteristieken vlak voor het ontstaan ​​van de anastomose Patiënttemperatuur; tijdstip van toediening van antibiotica; toediening van vasopressoren; bloedverlies; O2-verzadiging; gemiddelde arteriële druk; vloeistoftoediening; urineproductie; aanwezigheid van fecale besmetting; subjectieve beoordeling van lokale perfusie; epidurale analgesie; deurbewegingen; tijd vanaf incisie tot het aanleggen van de anastomose, intentie tot aanleggen van een stoma.

iv. Postoperatieve kenmerken Colorectale naadlekkage binnen 30 dagen en duur van opname in het ziekenhuis.

Standard Operating procedures Patiënten die in aanmerking komen voor opname worden gedetecteerd in de eerste multidisciplinaire teamvergadering. Indien hiervoor in aanmerking komt, informeert en bespreekt de chirurg dit onderzoek met de patiënt in het preoperatieve consult voor de operatie. Als de patiënt toestemming geeft voor deelname, is een schriftelijke geïnformeerde toestemming vereist. De patiënt kan deze toestemming te allen tijde intrekken.

Steekproefomvang berekening In de deelnemende ziekenhuizen worden jaarlijks zo'n 100 tot 400 colorectale resecties uitgevoerd, met een geschatte incidentie van naadlekkage van 5 tot 15%. Meerdere onderzoeken toonden minimaal 100 gebeurtenissen en 100 niet-gebeurtenissen aan als een geschikte steekproefomvang voor externe validatie. Met een verwacht totaal van 1.200 geïncludeerde patiënten per jaar en een lekkagepercentage van rond de 10%, duurt inclusief 100 events ongeveer één tot twee jaar.

Omgaan met ontbrekende gegevens Het machine learning-model zal een voorspelling doen bij patiënten met meer dan 80% van de vereiste gegevens beschikbaar. Ontbrekende gegevens worden geïmputeerd met behulp van voorspellende gemiddelde matching met tien iteraties.

Statistisch analyseplan De externe validatie wordt uitgevoerd op minimaal 100 events (naadlekkage) en 100 non-events (geen naadlekkage). Het machine learning-model met de beste voorspellende prestaties in termen van AUROC zal als implementatiemodel worden gebruikt. De snelheid van colorectale naadlekkage zal worden vergeleken in een multivariaat logistisch regressiemodel. Alle analyses worden uitgevoerd onder supervisie van een klinisch epidemioloog.