Validering af i-ROP DL til at detektere mere end mild ROP

Mål

Denne undersøgelse omfatter 2 dele. Formålene med den første del, der involverer pivotal validering af i-ROP DL, er:

• At bestemme sensitiviteten og specificiteten af ​​i-ROP DL til påvisning af mere end mild retinopati af præmaturitet (MTMROP) i telemedicinske omgivelser hos spædbørn med fødselsvægt (BW) mindre end 1251 g, der opfylder de nuværende ROP-screeningskriterier.
• At bestemme sensitiviteten og specificiteten af ​​i-ROP DL til påvisning af behandling, der kræver retinopati af præmaturitet (TR-ROP) i telemedicinske omgivelser hos spædbørn med fødselsvægt (BW) mindre end 1251 g, der opfylder de nuværende ROP-screeningskriterier.

Denne undersøgelse er en retrospektiv, multicenter, observationsundersøgelse til vurdering af sikkerheden og effektiviteten af ​​i-ROP DL i screening for MTMROP og TR-ROP. Undersøgelsesdesignet er i overensstemmelse med Intent to Screen (ITS) paradigme. Undersøgelsen vil udvælge cirka 1200 forsøgspersoner fra de 1285 forsøgspersoner i Telemedicine Approaches to Evaluating Acute-Phase Retinopathy of Prematurity (e-ROP) Study. Som dets primære endepunkt er denne undersøgelse designet til at evaluere sensitiviteten og specificiteten af ​​i-ROP DL til påvisning af MTMROP og TR-ROP hos præmature spædbørn for at opfylde de forudspecificerede kriterier.

Sikkerheden og effektiviteten af ​​i-ROP DL-systemet er begge forbundet med evnen til at fortolke Retcam-billeder for nøjagtigt at screene MTMROP-sygdommen. Hvert studie-endepunkt omhandler derfor både sikkerhed og effektivitet. Alle de følgende endepunkter er målt baseret på forsøgspersonernes undersøgelsesøje.

De co-primære endepunkter er:

• Sensitivitet og specificitet af i-ROP DL detekterer MTMROP på hvert niveau af 1-9 VSS (1, 2, 3 osv.).
• AUC for ROC til påvisning af MTMROP baseret på VSS. De foreslåede præstationsmål er defineret til 85,0 % sensitivitet og specificitet for MTMROP, hvilket afspejler forventede tilmeldingstal og forudspecificerede regulatoriske krav. Ud over observeret sensitivitet og specificitet vil berigelseskorrigeret sensitivitet og specificitet blive beregnet ved hjælp af logistisk regression for at evaluere, om præstationen ville have været anderledes, hvis undersøgelsespopulationen ikke var blevet beriget med forsøgspersoner med højere sygdomsprævalens.

De sekundære endepunkter er:

• Sensitivitet og specificitet til påvisning af TR-ROP på hvert niveau af VSS.
• AUC for ROC til påvisning af TR-ROP baseret på VSS.
• De positive og negative prædiktive værdier for påvisning af MTMROP og TR-ROP i en ikke-beriget population (svarende til den tilsigtede brugspopulation).

Formålet med anden del af denne undersøgelse involverer en pivotal læserundersøgelse og vil vurdere læsernes nøjagtighed i diagnosticering af plus sygdom versus ingen plus eller præ-plus sygdom med eller uden hjælp fra i-ROP DL. Øjenlægers præstationsmålinger for følgende modaliteter vil blive evalueret:

• Standardevaluering efter standardbehandlingsprocessen ("uden i-ROP DL")
• Evaluering efter standardbehandlingsprocessen ved hjælp af i-ROP DL ("med i-ROP DL") Denne retrospektive multi-reader multi-case (MRMC) undersøgelse vil have en beriget prøve på ca. 300 øjentilfælde (1 undersøgelse øje pr. emne): 60 plus tilfælde, 120 præ-plus tilfælde og 120 ingen plus tilfælde. Berigelse er med hensyn til proportioner af plus tilfælde og præ-plus tilfælde.

Det primære formål med denne undersøgelse er at evaluere, om arealet under receiver operation characteristic (ROC) curve (AUC) baseret på sandsynlighedsscore for plus sygdom statistisk signifikant ikke-inferiør eller overlegen ved hjælp af i-ROP DL versus uden hjælp af i-ROP DL. Flere sekundære endepunkter er skitseret i næste afsnit.

Sikkerheden og effektiviteten af ​​i-ROP DL er begge forbundet med øjenlægers evne til at fortolke billeder til nøjagtigt at diagnosticere plus-sygdommen. Hvert studie-endepunkt omhandler derfor både sikkerhed og effektivitet.

Alle de følgende endepunkter måles uden hjælp af i-ROP DL, ved hjælp af i-ROP DL, og deres forskel.

De co-primære endepunkter er:

• Ikke-underordnet gennemsnitsareal pr. individ under ROC-kurven (AUC) ved hjælp af i-ROP DL versus uden hjælp af i-ROP DL, baseret på sandsynlighedsscore ved diagnose af plus sygdom.
• Overlegent gennemsnitsareal pr. individ under ROC-kurven (AUC) ved hjælp af i-ROP DL versus uden hjælp af i-ROP DL, baseret på sandsynlighedsscore ved diagnose af plus sygdom.

For at opretholde undersøgelsens alfa-niveau på 0,05 vil de to co-primære endepunkter blive testet sekventielt efter gate-keep-tilgangen.

Det første co-primære endepunkt vil blive anset for at have demonstreret sikkerheden og effektiviteten af ​​i-ROP DL, hvis den gennemsnitlige AUC pr. individ ved hjælp af i-ROP DL er statistisk signifikant ikke ringere end den gennemsnitlige AUC uden hjælp af i-ROP DL til diagnosticering af plus sygdom, på alfa = 0,05 signifikansniveau.

Hvis det første co-primære endepunkt er statistisk signifikant, vil det andet co-primære endepunkt blive testet. Det andet co-primære endepunkt vil blive anset for at have påvist sikkerhed og effektivitet af i-ROP DL, hvis den gennemsnitlige AUC pr. forsøgsperson ved hjælp af i-ROP DL er statistisk signifikant bedre end den gennemsnitlige AUC uden hjælp af i-ROP DL til diagnose af plus sygdom, på alfa = 0,05 signifikansniveau.

De sekundære endepunkter er:

• Forskelle i gennemsnitlig sensitivitet og specificitet pr. emne for læsere med og uden hjælp fra i-ROP DL til klassificering af plus sygdom fra ingen plus/pre-plus tilfælde.

Sensitivitet og specificitet beregnes ud fra læserens svar for de tre kategorier (ingen plus, før-plus og plus), med plus som positivt.

• Forskel i interlæseraftale med og uden hjælp fra i-ROP DL til klassificering af plus sygdom fra ingen plus/pre-plus tilfælde.
• Ikke-underordnet gennemsnitsareal pr. individ under ROC-kurven (AUC) ved hjælp af i-ROP DL versus uden hjælp af i-ROP DL, baseret på sandsynlighedsscore ved diagnosticering af præ-plus eller værre sygdom.
• Overlegent gennemsnitsareal pr. forsøgsperson under ROC-kurven (AUC) ved hjælp af i-ROP DL versus uden hjælp af i-ROP DL, baseret på sandsynlighedsscore ved diagnose af præ-plus eller værre sygdom.

Baggrund

Retinopati af præmaturitet er en sygdom, der udvikler sig, når babyer bliver født for tidligt, før nethinden er fuldt udviklet [1]. Det er en førende årsag til børneblindhed på verdensplan, men blindhed kan normalt undgås med nøjagtig diagnose og rettidig behandling af babyer med behandlingskrævende sygdom [1]. Hvert land har accepteret kriterier for, hvilke babyer der skal have øjenundersøgelser. I USA kræver alle babyer født mindre end 31 uger efter menstruationsalderen (PMA) eller under 1500 gram diagnostiske øjenundersøgelser, der starter ved 31 ugers PMA eller 4 uger efter fødslen, alt efter hvad der er senere [2]. Undersøgelser gentages med 1-2 ugers intervaller afhængigt af sygdomsniveauet identificeret ved undersøgelsen.

Diagnose af ROP stilles ved enten oftalmoskopi (personundersøgelse ved sengekanten) eller ved hjælp af telemedicin med digital fjernbilleddannelse af fundus [2] [3]. Telemedicin er blevet en acceptabel standard for pleje for ROP-diagnostiske undersøgelser, og i de fleste telemedicinske arbejdsgange gentages undersøgelser ugentligt for at minimere risikoen for manglende ROP. Uanset om undersøgelser sker personligt eller via telemedicin, er øjenlægen ansvarlig for at dokumentere tilstedeværelse eller fravær af ROP ved hjælp af retningslinjerne for International Classification of ROP (ICROP), herunder at dokumentere tilstedeværelsen og graden af ​​zone, stadium og plus sygdom [4].

Nuværende behandlingsretningslinjer foreslår, at akut behandling (inden for 48 timer) bør forekomme, når babyer udvikler "type 1" ROP, defineret som Zone I trin 3 ROP (med eller uden plus), eller enhver zone eller trin med plus [5]. Fordi zone I fase 3 uden plus er sjælden, har disse retningslinjer etableret plus sygdom som det vigtigste kliniske træk, der bestemmer behovet for behandling i ROP. Plus-sygdom er generelt defineret som udvidelse og tortuositet af de posteriore retinale kar i zone I i forhold til et offentliggjort standardfotografi. Men efterhånden som digital fundus-billeddannelse er blevet mere standard, er det blevet klart, at diagnosen plus sygdom i praksis ikke altid stilles konsekvent, med betydelig inter-observatør variabilitet. Som følge heraf anerkender ICROP 3. udgave, udgivet i 2021, at pre-plus og plus kører et spektrum, der er relateret til den overordnede sværhedsgrad af ROP i øjet [4] [5].

Fordi behandling er presserende, når type 1 ROP er diagnosticeret, når der diagnosticeres borderlinesygdom hos patienter, kan øjenlægen, der er ansvarlig for plejen af ​​den baby, foreslå henvisning til personlig oftalmoskopisk undersøgelse og mulig behandling for at undgå behandlingsforsinkelse i tilfælde af logistik eller transport udfordringer. Af den grund er det bedre at diagnosticere alvorlig ROP, før babyer udvikler sig til type 1 ROP/plus sygdom.

i-ROP DL-systemet er en screeningsenhed til brug af uddannede sygeplejersker, fotografer eller teknikere, der udfører screening-øjenundersøgelser ved hjælp af Retcam 3-kameraet. Outputtet fra enheden er en "refer" eller "repeat", der tildeles for hver patient, og som afspejler spektret af vaskulære ændringer i præ-plus og plus sygdom [6] [7].

Outputtet vil blive sendt til en øjenlæge til gennemgang, hvis "mere end mild ROP" er detekteret ("refer"), ved hjælp af de samme billeder analyseret af algoritmen (ingen separat undersøgelse kræves). Klinikeren kan beslutte yderligere styring baseret på en standard telemedicinsk arbejdsgang. I tilfælde af "ingen henvisning nødvendig", vil barnet blive planlagt til en opfølgende undersøgelse om 1 uge (typisk for telemedicinske programmer). Dette sikrer, at hvis en baby udvikler sig til mere end mild ROP over tid, er der flere muligheder for at opdage det og markere det til klinisk gennemgang. Foreløbigt arbejde tyder på, at babyer normalt når tærsklen for MTMROP 2-4 uger før diagnosen TR-ROP, hvilket gør risikoen for et ubesvaret tilfælde meget lav.

i-ROP DL-systemet er også et diagnostisk hjælpemiddel til brug af øjenlægen, der udfører diagnostiske øjenundersøgelser ved hjælp af telemedicinsk gennemgang af digitale fundusbilleder ved hjælp af Retcam 3-kameraet. Outputtet af det diagnostiske hjælpemiddel er en "vaskulær sværhedsgrad" (fra 1-9), der tildeles i øjenhøjde, som afspejler spektret af vaskulære ændringer i præ-plus og plus sygdom [6] [7]. Den vaskulære sværhedsgrad beregnes baseret på den underliggende sandsynlighed for en klassificering af ingen plus, præ-plus eller plus, og svarer til den relative sandsynlighed for, at en tilfældig ekspert ville diagnosticere plus sygdom (i den yderste ende af spektret, 9, 100 % af eksperter ville diagnosticere plus sygdom) [7].

Dette output har to fordele, der kan forbedre diagnosen pre-plus og plus sygdom og reducere risikoen for sen behandling af babyer i forbindelse med telemedicin. For det første er højere vaskulær sværhedsgrad ikke kun forbundet med en højere sandsynlighed for plus sygdom, men også med højere stadie og omfang af perifer sygdom [6] [8], som måske eller måske ikke er synlige på alle billederne. Ved telemedicinsk gennemgang, hvis sygdomsstadiet ikke er synligt på perifere billeder, kan øjenlægen overveje enten at gentage billederne eller henvise barnet til oftalmoskopisk undersøgelse. I dette tilfælde vil det "positive" output ikke nødvendigvis udløse nogen terapeutisk intervention, men det vil hjælpe øjenlægen med at stille diagnosen. For det andet vil den vaskulære sværhedsgrad hjælpe med diagnosen og nøjagtigheden af ​​plus sygdom ved at give en objektiv metrik, forankret til ekspertdiagnose af plus sygdom [6] [7].

Studere design

Del 1: Dette kliniske studie er et retrospektivt, multicenter, observationsstudie for at vurdere sikkerheden og effektiviteten af ​​i-ROP DL ved screening for ROP i telemedicinsk behandling. Undersøgelsesdesignet er i overensstemmelse med Intent to Screen (ITS) paradigme.

Del 2: Denne kliniske forskning er en retrospektiv, pivotal, multi-reader, multi-case (MRMC) undersøgelse med en beriget stikprøve på ca. 60 plus tilfælde (personer), 120 præ-plus tilfælde og 120 ingen plus tilfælde.

• Referencestandarddiagnose Referencestandarddiagnosen (RSD) for 3-klasses grundsandhed (ingen plus, pre-plus eller plus) vil blive bestemt i øjenhøjde af majoritetsklassifikationen af ​​5 ROP-eksperter, som uafhængigt vil klassificere alle øjne i datasættet. I det usandsynlige tilfælde af 2/2/1 uenighed, vil de 5 eksperter blive bedt om at revurdere øjenundersøgelsen sammen, indtil der er flertal (mindst 3/5 er enige).
• RSD-processen RSD-eksperterne vil gennemgå alle sager, der er udvalgt til medtagelse i læserundersøgelsen. RSD-eksperterne vil udfylde en eCRF for hvert tilfælde, baseret på øjenbilleder og tilgængelig klinisk information fra billedoptagelsesstedet.
• Læseprocessen Cirka 16 øjenlæger vil uafhængigt udføre to aflæsninger på alle (ca. 300) tilfælde. Hver læser vil læse hvert enkelt tilfælde både uden hjælp af i-ROP DL og derefter ved hjælp af i-ROP DL.

Den første læsning vil rekapitulere den nuværende standard for pleje med en øjenlæge, der evaluerer det overordnede niveau af ROP-sværhedsgrad uden hjælp fra i-ROP DL ved hjælp af den internationale klassifikation af ROP (ICROP) [1] kriterier for zone, stadium og plus sygdom .

Den anden læsning vil evaluere effekten af ​​i-ROP DL output på plus sygdomsdiagnose ved hjælp af de samme kriterier. For at minimere recall bias vil de to læsebesøg blive adskilt af en hukommelsesudvaskningsperiode på cirka fire uger.

Denne kliniske forskning er et retrospektivt, pivotalt, multi-reader, multi-case (MRMC) studie med en beriget stikprøve på ca. 300 tilfælde, som vil blive udvalgt fra biblioteket af telemedicinske cases indsamlet under Telemedicine Approaches to Evaluating Acute Phase ROP (e- ROP) Undersøgelse.

Alle forsøgspersoner i biblioteket har tidligere givet skriftligt informeret samtykke til optagelse i e-ROP-undersøgelsen. Som en del af samtykkeprocessen blev forsøgspersonerne enige om, at billeddata og understøttende dokumentation kunne bruges til fremtidig forskning og undersøgelser. Kun afidentificerede data og nethindebilleder vil blive brugt i denne undersøgelse.

Evaluerbare tilfælde er defineret som forsøgspersoner, der opfyldte alle protokol-case-inklusions-/eksklusionskriterier, og som har et komplet sæt øjenundersøgelser af tilstrækkelig kvalitet. Kvaliteten af ​​hvert billede er kategoriseret som god, tilstrækkelig, dårlig eller manglende, baseret på fokus, klarhed og feltdefinition.

Foranstaltninger til at sikre emne- og læserhemmelighed omfatter tildeling af unikke undersøgelses- og læser-id-numre.

• Prøvestørrelse og casemix Beriget prøvestørrelse på ca. 300 tilfælde (emner) med følgende casemix: 60 plus tilfælde, 120 præ-plus tilfælde og 120 ingen plus tilfælde.
• Caseudvælgelse og målrettet fordeling Den uafhængige statistiker vil udvælge cases til denne pivotale læserundersøgelse, og cases vil blive tilfældigt udvalgt for at give repræsentative fordelinger af race på tværs af tilmeldingssteder, i det omfang dette kan opnås ved hjælp af cases i casebiblioteket.

Inklusions- og eksklusionskriterier Alle sager for denne pivotale valideringsundersøgelse vil opfylde følgende kriterier for inklusions- og eksklusionskriterier. (se også bilag A for inklusions- og eksklusionskriterier for protokol e-ROP). Kun forsøgspersoner, der fik samtykke, opfyldte alle inklusionskriterier og ingen af ​​eksklusionskriterierne og gennemførte den nødvendige oparbejdning for at etablere referencestandarddiagnosegrundsandheden, vil blive betragtet som evaluerbare.

Inklusionskriterierne for alle tilfælde i undersøgelsen er som følger:

• Kvalificerede forsøgspersoner under protokol e-ROP, defineret som spædbørn med fødselsvægt (BW) mindre end 1251 g, der opfylder gældende ROP-screening.
• Eye cases opfylder billedkvalitetskravene for at etablere referencestandarddiagnosen for plus, pre-plus og ingen plus tilfælde.
• Forsøgspersoner har kendt reference standard diagnose grundsandhed. Hvis referencestandarddiagnoseprocessen ikke kan oprette et RSD-mærke for plus sygdom, vil øjet ikke blive inkluderet i undersøgelsen.
• Billede erhvervet af følgende enhed: RetCam Ophthalmic Imaging Systems 3 (Natus Medical Incorporated).

Eksklusionskriterierne for alle tilfælde i undersøgelsen er som følger:

• Forsøgspersoner, der er i strid med protokol e-ROP.
• Emner, der er i strid med inklusionskriterierne i denne protokol. Udvælgelse af case og målrettet fordeling Alle forsøgspersoner, der opfylder inklusions- og eksklusionskriterier fra e-ROP-studiet, vil blive inkluderet i denne undersøgelse. e-ROP-undersøgelse repræsenterer den naturlige forekomst af plus og præ-plus sygdomstilfælde i det kliniske miljø. Der er ingen databerigelse inden for e-ROP undersøgelse.

Rekrutteringsmetoder

Denne undersøgelse vil blive udført med bestyrelsescertificerede øjenlæger med varierende erfaringsniveauer med mindst et års erfaring med at udføre ROP-undersøgelser. Disse øjenlæger vil ikke være forbundet med anskaffelse eller gennemgang af undersøgelsessager og deltog ikke i RSD-processen. Et spørgeskema vil blive sendt til potentielle læsere for at bestemme den brøkdel af deres professionelle tid, der er afsat til ROP-diagnose. Efterforskere vil invitere potentielle læsere gennem listserv fra American Academy of Pediatric Ophthalmology and Strabismus og Retina Society. Cirka 16 bestyrelsescertificerede øjenlæger, med en række erfaring baseret på mange års erfaring, vil blive udvalgt til at læse og score undersøgelsescaserne.

ROP læseoplevelse vil blive kategoriseret i tre grupper:

• High Experience Reader - defineret som øjenlæger, der har >10 års erfaring med at læse ROP-billeder.
• Medium Experience Reader - defineret som øjenlæger, der har 5-10 års erfaring med at læse ROP-billeder.
• Low Experience Reader - defineret som øjenlæger, der har 1-4 års erfaring med at læse ROP-billeder.

Inklusionskriterierne (kvalifikationskriterierne) for alle læsere i undersøgelsen er som følger:

• U.S.A. bestyrelsesberettiget/bestyrelsescertificeret og licenseret læge, læge i oftalmologi. (American Board of Ophthalmology eller tilsvarende certificering)
• Underskrevet læserstudieaftale.
• Underskrevet informeret samtykke.
• Succesfuld træning i studieprotokollen og brugen af ​​studiesoftwaren.

Samtykkeproces

Hver læser skal give skriftligt informeret samtykke, før de deltager i læserens undersøgelse af denne protokol. Fordi læserne er placeret over hele verden, vil efterforskerne give elektronisk samtykke gennem docusign.

Procedurer involveret Læseprocessen Formål Formålet med læseprocessen er, at læserne skal angive vurderingskategorierne plus, før-plus og ingen plus, sandsynlighedsscore på plus og før-plus eller dårligere på de elektroniske sagsrapportformularer til deres fortolkning af undersøgelsescaserne med og uden hjælp af i-ROP DL.

Gennemførelse af læseprocessen Efter den vellykkede afslutning af læseruddannelsen vil læserne selvstændigt gennemgå og score hver af casene i læserstudiecasesættet. Klinisk information om emnerne, herunder fødselsvægt, svangerskabsalder og post-menstruel alder ved øjenundersøgelse, vil blive givet til læserne. Hver læser vil arbejde på en udpeget læsestation og vil selvstændigt udføre to læseafsnit på alle sager. Hver læser vil læse hvert tilfælde både som en standardlæsning og en aflæsning ved hjælp af i-ROP DL. Hver læser vil læse alle sager som standardlæsning under det første besøg. Læseren vil så læse sagerne ved hjælp af i-ROP DL under det andet besøg. For at minimere hukommelsesopkaldsbias vil de to læsesektioner blive adskilt af en hukommelsesudvaskningsperiode på cirka fire uger.

Læsestationen vil levere forudindlæste sager fra serveren gennem sikret webforbindelse. Den tilladte læsetid pr. sag vil ikke være begrænset. Der tilbydes frokostpause under hver læsesession, og læserne opfordres til at holde 5-10 minutters pause hver time efter behov. Hver læser vil indtaste deres fortolkninger direkte i den elektroniske sagsrapportformular. Hver læser vil underskrive en attestformular, der bekræfter de dokumenterede oplysninger.

Core Reading Center Læseprocessen vil blive udført eksternt hjemme hos læseren eller på kontoret, som de ville være i tilsigtet brug i tilfælde af telemedicinsk evaluering.

Forberedelse af sager til fortolkning For at bevare emnets fortrolighed vil der ikke blive vist nogen identificerende emnedata. Unikke billedidentifikatorer knyttet til sagens ID-nummer vil være synlige på hvert billede til sporingsformål. For at bevare læserens fortrolighed vil der blive tildelt et unikt ID-nummer til hver læser, der deltager i den pivotale læserundersøgelse, så de kan indtastes på den elektroniske sagsrapportformular.

Oplysninger indsamlet i løbet af undersøgelsen vil blive rapporteret på en sådan måde, at det udelukker identifikation af eventuelle billedopsamlingscentre eller læseres præstationer.