Validering av i-ROP DL för att upptäcka mer än mild ROP

Mål

Denna studie omfattar 2 delar. Syften med den första delen som involverar pivotal validering av i-ROP DL är:

• Att bestämma känsligheten och specificiteten för i-ROP DL för detektion av mer än mild retinopati av prematuritet (MTMROP) i telemedicinsk miljö hos spädbarn med födelsevikt (BW) mindre än 1251 g som uppfyller gällande ROP-screeningskriterier.
• Att bestämma känsligheten och specificiteten för i-ROP DL för detektering av behandling som kräver retinopati av prematuritet (TR-ROP) i telemedicinsk miljö hos spädbarn med födelsevikt (BW) mindre än 1251 g som uppfyller gällande ROP-screeningskriterier.

Denna studie är en retrospektiv, multicenter, observationsstudie för att bedöma säkerheten och effektiviteten av i-ROP DL vid screening för MTMROP och TR-ROP. Studiens design överensstämmer med Intent to Screen (ITS) paradigm. Studien kommer att välja ut cirka 1200 försökspersoner från de 1285 försökspersonerna i Telemedicine Approaches to Evaluating Acute-Phase Retinopathy of Prematurity (e-ROP). Som sitt primära effektmått är denna studie utformad för att utvärdera sensitiviteten och specificiteten hos i-ROP DL för detektion av MTMROP och TR-ROP hos prematura spädbarn för att uppfylla de i förväg specificerade kriterierna.

Säkerheten och effektiviteten hos i-ROP DL-systemet är båda kopplade till förmågan att tolka Retcam-bilder för att exakt screena MTMROP-sjukdomen. Varje studie endpoint tar därför upp både säkerhet och effektivitet. Alla följande effektmått mäts baserat på försökspersonernas studieöga.

De co-primära endpoints är:

• Sensitivitet och specificitet hos i-ROP DL som detekterar MTMROP på varje nivå av 1-9 VSS (1, 2, 3, etc.).
• AUC för ROC för detektion av MTMROP baserat på VSS. De föreslagna prestationsmålen är definierade till 85,0 % känslighet och specificitet för MTMROP, vilket återspeglar förväntade registreringssiffror och fördefinierade regulatoriska krav. Förutom observerad sensitivitet och specificitet kommer anrikningskorrigerad sensitivitet och specificitet att beräknas med hjälp av logistisk regression för att utvärdera om prestandan skulle ha varit annorlunda om studiepopulationen inte hade berikats med försökspersoner med högre sjukdomsprevalens.

De sekundära slutpunkterna är:

• Sensitivitet och specificitet för detektion av TR-ROP på varje nivå av VSS.
• AUC för ROC för detektion av TR-ROP baserat på VSS.
• De positiva och negativa prediktiva värdena för detektion av MTMROP och TR-ROP i en icke-berikad population (liknande den avsedda användningspopulationen).

Syftet med den andra delen av denna studie involverar en pivotal läsarstudie och kommer att bedöma läsarnas noggrannhet i att diagnostisera plus sjukdom kontra ingen plus eller pre-plus sjukdom med eller utan hjälp av i-ROP DL. Ögonläkares prestationsmått för följande modaliteter kommer att utvärderas:

• Standardutvärdering efter standardprocessen ("utan i-ROP DL")
• Utvärdering efter standardbehandlingsprocessen med hjälp av i-ROP DL ("med i-ROP DL") Denna retrospektiva multi-reader multi-case (MRMC) studie kommer att ha ett berikat urval av cirka 300 ögonfall (1 studie öga per ämne): 60 plus-fall, 120 pre-plus-fall och 120 inga plus-fall. Anrikning är med avseende på proportioner av plusfall och pre-plusfall.

Det primära syftet med denna studie är att utvärdera om arean under mottagarens operationskarakteristik (ROC) kurva (AUC) baserat på sannolikhetspoäng för plus sjukdom statistiskt signifikant icke-sämre eller överlägsen med hjälp av i-ROP DL jämfört med utan hjälp av i-ROP DL. Flera sekundära slutpunkter beskrivs i nästa avsnitt.

Säkerheten och effektiviteten hos i-ROP DL är båda kopplade till förmågan hos ögonläkare som tolkar bilder för att korrekt diagnostisera plussjukdomen. Varje studie endpoint tar därför upp både säkerhet och effektivitet.

Alla följande ändpunkter mäts utan hjälp av i-ROP DL, med hjälp av i-ROP DL, och deras skillnad.

De co-primära endpoints är:

• Icke-sämre medelarea per individ under ROC-kurvan (AUC) med hjälp av i-ROP DL jämfört med utan hjälp av i-ROP DL, baserat på sannolikhetspoäng vid diagnos av plussjukdom.
• Överlägsen medelarea per individ under ROC-kurvan (AUC) med hjälp av i-ROP DL jämfört med utan hjälp av i-ROP DL, baserat på sannolikhetspoäng vid diagnos av plussjukdom.

För att bibehålla studiens alfanivå på 0,05 kommer de två co-primära endpoints att testas sekventiellt enligt gate-keep-metoden.

Det första co-primära effektmåttet kommer att anses ha framgångsrikt visat säkerhet och effektivitet för i-ROP DL om den genomsnittliga AUC per individ med hjälp av i-ROP DL är statistiskt signifikant icke sämre än den genomsnittliga AUC utan hjälp av i-ROP DL för diagnos av plussjukdom, vid signifikansnivån alfa = 0,05.

Om den första co-primära endpointen är statistiskt signifikant kommer den andra co-primära endpointen att testas. Det andra co-primära effektmåttet kommer att anses ha framgångsrikt visat säkerhet och effektivitet för i-ROP DL om den genomsnittliga AUC per individ med hjälp av i-ROP DL är statistiskt signifikant överlägsen den genomsnittliga AUC utan hjälp av i-ROP DL för diagnos av plussjukdom, vid alfa = 0,05 signifikansnivå.

De sekundära slutpunkterna är:

• Skillnader i genomsnittlig känslighet och specificitet per ämne för läsare med och utan hjälp av i-ROP DL för att klassificera plus sjukdom från inga plus/pre-plus fall.

Sensitivitet och specificitet beräknas utifrån läsarens svar för de tre kategorierna (inget plus, pre-plus och plus), med plus som positivt.

• Skillnad i överenskommelse mellan läsare med och utan hjälp av i-ROP DL för att klassificera plus sjukdom från inga plus/pre-plus fall.
• Icke-sämre medelyta per individ under ROC-kurvan (AUC) med hjälp av i-ROP DL jämfört med utan hjälp av i-ROP DL, baserat på sannolikhetspoäng vid diagnos av pre-plus eller värre sjukdom.
• Överlägsen medelarea per individ under ROC-kurvan (AUC) med hjälp av i-ROP DL jämfört med utan hjälp av i-ROP DL, baserat på sannolikhetspoäng vid diagnos av pre-plus eller värre sjukdom.

Bakgrund

Prematuritetsretinopati är en sjukdom som utvecklas när barn föds för tidigt innan näthinnan har utvecklats fullt ut [1]. Det är en ledande orsak till barnblindhet över hela världen, men blindhet kan vanligtvis undvikas med korrekt diagnos och snabb behandling av spädbarn med behandlingskrävande sjukdom [1]. Varje land har accepterat kriterier för vilka barn som behöver synundersökningar. I USA kräver alla barn som är födda mindre än 31 veckor efter menstruationsåldern (PMA) eller under 1500 gram diagnostiska ögonundersökningar med början 31 veckor PMA eller 4 veckor efter födseln, beroende på vilket som är senare [2]. Undersökningar upprepas med 1-2 veckors intervall beroende på vilken sjukdomsnivå som identifierats vid undersökningen.

Diagnos av ROP ställs med antingen oftalmoskopi (personlig undersökning vid sängkanten) eller med hjälp av telemedicin med digital ögonbottenavbildning [2] [3]. Telemedicin har blivit en acceptabel standard för vård för ROP-diagnostiska undersökningar, och i de flesta telemedicinska arbetsflöden upprepas undersökningar varje vecka för att minimera risken att missa ROP. Oavsett om undersökningar sker personligen eller via telemedicin, är ögonläkaren ansvarig för att dokumentera närvaron eller frånvaron av ROP med hjälp av riktlinjerna för International Classification of ROP (ICROP), inklusive att dokumentera närvaron och graden av zon, stadium och plussjukdom [4].

Nuvarande behandlingsriktlinjer föreslår att akut behandling (inom 48 timmar) bör ske när spädbarn utvecklar "typ 1" ROP, definierad som Zon I steg 3 ROP (med eller utan plus), eller valfri zon eller stadie med plus [5]. Eftersom zon I steg 3 utan plus är sällsynt, har dessa riktlinjer etablerat plus sjukdom som den viktigaste kliniska egenskapen som avgör behovet av behandling vid ROP. Plus-sjukdom definieras generellt som utvidgning och tortuositet av de bakre retinala kärlen i zon I i förhållande till ett publicerat standardfotografi. Men i takt med att digital ögonbottenavbildning har blivit mer standard, har det blivit tydligt att diagnosen plussjukdom i praktiken inte alltid görs konsekvent, med betydande inter-observatörsvariabilitet. Som ett resultat erkänner ICROP 3:e upplagan, publicerad 2021, att pre-plus och plus löper ett spektrum som är relaterat till den övergripande svårighetsgraden av ROP i ögat [4] [5].

Eftersom behandling är brådskande när typ 1 ROP diagnostiseras, när borderlinesjukdom diagnostiseras hos patienter, kan ögonläkaren som ansvarar för vården av det barnet föreslå remiss för personlig oftalmoskopisk undersökning och eventuell behandling, för att undvika behandlingsförseningar vid logistik eller transport utmaningar. Av den anledningen är det bättre att diagnostisera allvarlig ROP innan bebisar utvecklas till typ 1 ROP/plus-sjukdom.

i-ROP DL-systemet är en screening-enhet för användning av utbildade sjuksköterskor, fotografer eller tekniker som utför screening-ögonundersökningar med Retcam 3-kameran. Utsignalen från enheten är en "referera" eller "upprepning" som tilldelas för varje patient som återspeglar spektrumet av vaskulära förändringar i pre-plus och plus sjukdom [6] [7].

Resultatet kommer att skickas till en ögonläkare för granskning om "mer än mild ROP" upptäcks ("referera"), med samma bilder som analyserats av algoritmen (ingen separat undersökning krävs). Klinikern kan besluta om ytterligare hantering baserat på ett standard telemedicinskt arbetsflöde. I fall av "ingen remiss behövs" kommer barnet att schemaläggas för en uppföljningsundersökning om 1 vecka (typiskt för telemedicinprogram). Detta säkerställer att om en bebis utvecklas till mer än mild ROP över tiden finns det flera möjligheter att upptäcka det och flagga det för klinisk granskning. Preliminärt arbete tyder på att spädbarn vanligtvis når tröskeln för MTMROP 2-4 veckor innan diagnosen TR-ROP, vilket gör risken för ett missat fall mycket låg.

i-ROP DL-systemet är också ett diagnostiskt hjälpmedel för användning av ögonläkaren som utför diagnostiska ögonundersökningar med hjälp av telemedicinsk granskning av digitala ögonbottenbilder med hjälp av Retcam 3-kameran. Resultatet av den diagnostiska hjälpanordningen är en "vaskulär svårighetsgrad" (från 1-9) som tilldelas i ögonhöjd som återspeglar spektrumet av vaskulära förändringar i pre-plus och plus sjukdom [6] [7]. Den vaskulära svårighetsgraden beräknas baserat på den underliggande sannolikheten för en klassificering av inget plus, pre-plus eller plus, och motsvarar den relativa sannolikheten att en slumpmässig expert skulle diagnostisera plus sjukdom (i den yttersta änden av spektrumet, 9, 100 % av experter skulle diagnostisera plus sjukdom) [7].

Denna utgång har två fördelar som kan förbättra diagnosen pre-plus- och plus-sjukdom och minska risken för sen behandling av spädbarn i samband med telemedicin. För det första är högre vaskulär svårighetsgrad inte bara förknippad med en högre sannolikhet för plussjukdom, utan också med högre stadium och omfattning av perifer sjukdom [6] [8], som kanske eller kanske inte syns på alla bilder. Vid telemedicinsk granskning, om sjukdomsstadiet inte är synligt på perifera bilder, kan ögonläkaren överväga att antingen upprepa bilderna eller remittera barnet för oftalmoskopisk undersökning. I det här fallet skulle den "positiva" effekten inte nödvändigtvis utlösa någon terapeutisk intervention, men det kommer att hjälpa ögonläkaren att ställa diagnosen. För det andra kommer den vaskulära svårighetsgraden att hjälpa till med diagnosen och noggrannheten av plussjukdom genom att tillhandahålla ett objektivt mått, förankrat till expertdiagnos av plussjukdom [6] [7].

Studera design

Del 1: Denna kliniska studie är en retrospektiv, multicenter, observationsstudie för att bedöma säkerheten och effektiviteten av i-ROP DL vid screening för ROP i telemedicinsk vårdmiljö. Studiens design överensstämmer med Intent to Screen (ITS) paradigm.

Del 2: Denna kliniska forskning är en retrospektiv, pivotal, multi-reader, multi-case (MRMC) studie med ett berikat urval av cirka 60 plus fall (ämnen), 120 pre-plus fall och 120 inga plus fall.

• Referensstandarddiagnos Referensstandarddiagnosen (RSD) för 3-klass grundsanning (inget plus, pre-plus eller plus) kommer att bestämmas i ögonhöjd av majoritetsklassificeringen av 5 ROP-experter som oberoende klassificerar alla ögon i datasetet. I det osannolika fallet av en 2/2/1 oenighet kommer de 5 experterna att uppmanas att omgradera synundersökningen tillsammans tills det finns en majoritet (minst 3/5 är överens).
• RSD-processen RSD-experterna kommer att granska alla fall som valts ut för att inkluderas i läsarstudien. RSD-experterna kommer att fylla i en eCRF för varje fall, baserat på ögonbilder och tillgänglig klinisk information från bildinsamlingsplatsen.
• Läsprocessen Cirka 16 ögonläkare kommer självständigt att utföra två avläsningar av alla (cirka 300) fall. Varje läsare kommer att läsa varje fall både utan hjälp av i-ROP DL och sedan med hjälp av i-ROP DL.

Den första behandlingen kommer att rekapitulera den nuvarande standarden för vård med en ögonläkare som utvärderar den övergripande nivån av ROP-allvarlighet utan hjälp av i-ROP DL med hjälp av den internationella klassificeringen av ROP (ICROP) [1] kriterierna för zon, stadium och plussjukdom .

Den andra behandlingen kommer att utvärdera effekten av i-ROP DL-utgången på plussjukdomsdiagnos med samma kriterier. För att minimera återkallningsbias kommer de två läsbesöken att separeras av en minnesuttvättningsperiod på cirka fyra veckor.

Denna kliniska forskning är en retrospektiv, pivotal, multi-reader, multi-case (MRMC) studie med ett berikat urval av cirka 300 fall som kommer att väljas från biblioteket av telemedicinska fall samlade under Telemedicine Approaches to Evaluating Acute Phase ROP (e- ROP) Studie.

Alla försökspersoner i biblioteket har tidigare lämnat skriftligt informerat samtycke för inkludering i e-ROP-studien. Som en del av samtyckesprocessen gick försökspersonerna överens om att bilddata och stödjande dokumentation kunde användas för framtida forskning och undersökningar. Endast avidentifierade data och näthinnebilder kommer att användas i denna studie.

Utvärderbara fall definieras som försökspersoner som uppfyllde alla protokollskriterier för inkludering/uteslutning av fall och som har en komplett uppsättning ögonundersökningar av adekvat kvalitet. Kvaliteten på varje bild kategoriseras som bra, tillräcklig, dålig eller saknas, baserat på fokus, klarhet och fältdefinition.

Åtgärder för att säkerställa ämnes- och läsarsekretess inkluderar tilldelning av unika studie- och läsar-ID-nummer.

• Provstorlek och ärendemix Berikad provstorlek på cirka 300 fall (ämnen) med följande fallmix: 60 plus-fall, 120 pre-plus-fall och 120 inga plus-fall.
• Val av fall och riktad distribution Den oberoende statistikern kommer att välja fall för denna centrala läsarstudie och fall kommer att väljas ut slumpmässigt för att ge representativa fördelningar av ras över inskrivningsplatser, i den utsträckning som detta kan åstadkommas med hjälp av fall i ärendebiblioteket.

Kriterier för inkludering och uteslutning Alla fall för denna pivotala valideringsstudie kommer att uppfylla följande kriterier för inkludering och uteslutning. (se även Appendix A för inklusions- och exkluderingskriterier för protokoll e-ROP). Endast försökspersoner som har gett sitt samtycke, uppfyllt alla inklusionskriterier och inget av uteslutningskriterierna och slutfört den nödvändiga upparbetningen för att fastställa grundsanningen för referensstandarddiagnosen kommer att anses vara utvärderbara.

Inklusionskriterierna för alla fall i studien är följande:

• Kvalificerade försökspersoner enligt protokoll e-ROP, definierat som spädbarn med födelsevikt (BW) mindre än 1251 g som uppfyller gällande ROP-screening.
• Ögonfodral uppfyller bildkvalitetskraven för att fastställa referensstandarddiagnosen plus, pre-plus och inga plusfall.
• Försökspersoner har känd referensstandarddiagnos grundsanning. Om referensstandarddiagnostikprocessen inte kan skapa en RSD-märkning för plussjukdom, kommer ögat inte att inkluderas i studien.
• Bild inhämtad av följande enhet: RetCam Ophthalmic Imaging Systems 3 (Natus Medical Incorporated).

Uteslutningskriterierna för alla fall i studien är följande:

• Försökspersoner som bryter mot protokollet e-ROP.
• Ämnen som bryter mot inklusionskriterierna i detta protokoll. Val av fall och riktad distribution Alla försökspersoner som uppfyller kriterierna för inkludering och uteslutning från e-ROP-studien kommer att inkluderas i denna studie. e-ROP-studien representerar den naturliga förekomsten av plus- och pre-plus-sjukdomsfallen i den kliniska miljön. Det finns ingen databerikning inom e-ROP-studien.

Rekryteringsmetoder

Denna studie kommer att genomföras med styrelsecertifierade ögonläkare med varierande erfarenhetsnivåer, med minst ett års erfarenhet av att utföra ROP-undersökningar. Dessa ögonläkare kommer inte att vara associerade med förvärv eller granskning av studiefall och deltog inte i RSD-processen. Ett enkätformulär kommer att skickas till blivande läsare för att fastställa den del av deras professionella tid som ägnas åt ROP-diagnos. Utredarna kommer att bjuda in blivande läsare genom listserv från American Academy of Pediatric Ophthalmology and Strabismus och Retina Society. Cirka 16 styrelsecertifierade ögonläkare, med en rad erfarenheter baserade på många års erfarenhet, kommer att väljas ut för att läsa och poängsätta studiefallen.

ROP-läsupplevelsen kommer att kategoriseras i tre grupper:

• High Experience Reader - definieras som ögonläkare som har >10 års erfarenhet av att läsa ROP-bilder.
• Medium Experience Reader - definieras som ögonläkare som har 5-10 års erfarenhet av att läsa ROP-bilder.
• Low Experience Reader - definieras som ögonläkare som har 1-4 års erfarenhet av att läsa ROP-bilder.

Inklusionskriterierna (kvalifikationskriterierna) för alla läsare i studien är följande:

• U.S.A. styrelseberättigad/styrelsecertifierad och licensierad medicinsk läkare, doktor i oftalmologi. (American Board of Ophthalmology eller motsvarande certifiering)
• Undertecknat läsarstudieavtal.
• Undertecknat informerat samtycke.
• Framgångsrik träning i studieprotokollet och användningen av studieprogramvaran.

Samtyckesprocess

Varje läsare måste ge skriftligt informerat samtycke innan de deltar i läsarstudien av detta protokoll. Eftersom läsarna finns över hela världen kommer utredarna att ge elektroniskt samtycke genom docusign.

Procedurer som är involverade Läsprocessen Syfte Syftet med läsprocessen är att läsarna ska tillhandahålla bedömningskategorierna plus, pre-plus och inga plus, sannolikhetspoäng på plus och pre-plus eller sämre på de elektroniska fallrapportformulären för deras tolkning av studiefallen med och utan hjälp av i-ROP DL.

Genomförande av läsprocessen Efter det framgångsrika slutförandet av läsarutbildningen kommer läsarna självständigt att granska och poängsätta vart och ett av fallen i läsarstudiefallsuppsättningen. Klinisk information om ämnena inklusive födelsevikt, graviditetsålder och postmenstruationsålder vid ögonundersökning kommer att tillhandahållas läsarna. Varje läsare kommer att arbeta på en avsedd lässtation och kommer självständigt att utföra två läsavsnitt i alla fall. Varje läsare kommer att läsa varje fall både som en standardläsning och en avläsning med hjälp av i-ROP DL. Varje läsare kommer att läsa alla fall som standardläsning under det första besöket. Läsaren kommer sedan att läsa fallen med hjälp av i-ROP DL under det andra besöket. För att minimera minnesförändringar kommer de två lässektionerna att separeras av en minnesuttvättningsperiod på cirka fyra veckor.

Lässtationen kommer att tillhandahålla förinstallerade fall från servern via säker webbanslutning. Den tillåtna lästiden per fall kommer inte att begränsas. En lunchrast kommer att erbjudas under varje lästillfälle, och läsarna kommer att uppmuntras att ta en paus på 5-10 minuter varje timme, vid behov. Varje läsare kommer att skriva in sina tolkningar direkt i det elektroniska fallrapportformuläret. Varje läsare kommer att underteckna ett intygsformulär som verifierar den dokumenterade informationen.

Core Reading Center Läsprocessen kommer att utföras på distans hemma hos läsaren eller på kontoret, som de skulle vara vid avsedd användning vid telemedicinutvärdering.

Förberedelse av mål för tolkning För att upprätthålla ämnets konfidentialitet kommer inga identifierande ämnesdata att visas. Unika bildidentifierare kopplade till ärendets ID-nummer kommer att vara synliga på varje bild för spårningsändamål. För att upprätthålla läsarens konfidentialitet kommer ett unikt ID-nummer att tilldelas varje läsare som deltar i den centrala läsarstudien för inträde på det elektroniska fallrapportformuläret.

Information som samlas in under studien kommer att rapporteras på ett sådant sätt att det utesluter identifiering av bildinsamlingscenter eller läsarnas prestationer.