Validering av i-ROP DL for å oppdage mer enn mild ROP

Mål

Denne studien omfatter 2 deler. Hensiktene med den første delen som involverer pivotal validering av i-ROP DL er:

• For å bestemme sensitiviteten og spesifisiteten til i-ROP DL for påvisning av mer enn mild retinopati av prematuritet (MTMROP) i telemedisinske omgivelser hos spedbarn med fødselsvekt (BW) mindre enn 1251 g som oppfyller gjeldende ROP-screeningskriterier.
• For å bestemme sensitiviteten og spesifisiteten til i-ROP DL for påvisning av behandling som krever retinopati av prematuritet (TR-ROP) i telemedisinske omgivelser hos spedbarn med fødselsvekt (BW) mindre enn 1251 g som oppfyller gjeldende ROP-screeningskriterier.

Denne studien er en retrospektiv, multisenter, observasjonsstudie for å vurdere sikkerheten og effektiviteten til i-ROP DL i screening for MTMROP og TR-ROP. Studiedesignet samsvarer med Intent to Screen (ITS) paradigmet. Studien vil velge omtrent 1200 forsøkspersoner fra de 1285 forsøkspersonene i Telemedicine Approaches to Evaluating Acute-Phase Retinopathy of Prematurity (e-ROP). Som sitt primære endepunkt er denne studien utformet for å evaluere sensitiviteten og spesifisiteten til i-ROP DL for påvisning av MTMROP og TR-ROP hos premature spedbarn for å oppfylle de forhåndsspesifiserte kriteriene.

Sikkerheten og effektiviteten til i-ROP DL-systemet er begge knyttet til evnen til å tolke Retcam-bilder for å skjerme MTMROP-sykdommen nøyaktig. Hvert studieendepunkt tar derfor for seg både sikkerhet og effektivitet. Alle de følgende endepunktene måles basert på forsøkspersonenes studieøye.

De co-primære endepunktene er:

• Sensitivitet og spesifisitet til i-ROP DL som oppdager MTMROP på hvert nivå av 1-9 VSS (1, 2, 3, etc.).
• AUC for ROC for påvisning av MTMROP basert på VSS. De foreslåtte ytelsesmålene er definert til 85,0 % sensitivitet og spesifisitet for MTMROP, noe som reflekterer forventede påmeldingstall og forhåndsspesifiserte regulatoriske krav. I tillegg til observert sensitivitet og spesifisitet, vil anrikningskorrigert sensitivitet og spesifisitet beregnes ved hjelp av logistisk regresjon for å evaluere om ytelsen ville vært annerledes dersom studiepopulasjonen ikke hadde blitt beriket med forsøkspersoner med høyere sykdomsprevalens.

De sekundære endepunktene er:

• Sensitivitet og spesifisitet for deteksjon av TR-ROP på hvert nivå av VSS.
• AUC for ROC for påvisning av TR-ROP basert på VSS.
• De positive og negative prediktive verdiene for påvisning av MTMROP og TR-ROP i en uberiket populasjon (ligner den tiltenkte brukspopulasjonen).

Hensikten med den andre delen av denne studien involverer en sentral leserstudie og vil vurdere lesernes nøyaktighet i diagnostisering av pluss sykdom versus ingen pluss eller pre-pluss sykdom med eller uten hjelp av i-ROP DL. Øyelegers ytelsesmålinger for følgende modaliteter vil bli evaluert:

• Standardevaluering etter standardbehandlingsprosessen ("uten i-ROP DL")
• Evaluering etter standardbehandlingsprosessen ved hjelp av i-ROP DL ("med i-ROP DL") Denne retrospektive multi-reader multi-case (MRMC) studien vil ha et beriket utvalg på omtrent 300 øyetilfeller (1 studie øye per emne): 60 pluss-tilfeller, 120 pre-pluss-tilfeller og 120 ingen pluss-tilfeller. Berikelse er med hensyn til proporsjoner av pluss-tilfeller og pre-pluss-tilfeller.

Hovedmålet med denne studien er å evaluere om arealet under mottakeroperasjonskarakteristikken (ROC) kurven (AUC) basert på sannsynlighetsskårer for pluss sykdom statistisk signifikant ikke-inferiør eller overlegen ved hjelp av i-ROP DL versus uten hjelp av i-ROP DL. Flere sekundære endepunkter er skissert i neste avsnitt.

Sikkerheten og effektiviteten til i-ROP DL er begge knyttet til evnen til øyeleger som tolker bilder for å nøyaktig diagnostisere plusssykdommen. Hvert studieendepunkt tar derfor for seg både sikkerhet og effektivitet.

Alle de følgende endepunktene måles uten hjelp av i-ROP DL, ved hjelp av i-ROP DL, og deres forskjell.

De co-primære endepunktene er:

• Ikke-underordnet gjennomsnittlig areal per individ under ROC-kurven (AUC) ved hjelp av i-ROP DL versus uten hjelp av i-ROP DL, basert på sannsynlighetsskår ved diagnose av pluss sykdom.
• Overlegent gjennomsnittlig areal per individ under ROC-kurven (AUC) ved hjelp av i-ROP DL versus uten hjelp av i-ROP DL, basert på sannsynlighetsskår ved diagnose av pluss sykdom.

For å opprettholde studiens alfa-nivå på 0,05, vil de to co-primære endepunktene bli testet sekvensielt etter gate-keep-tilnærmingen.

Det første co-primære endepunktet vil anses å ha demonstrert sikkerhet og effektivitet av i-ROP DL hvis gjennomsnittlig AUC per individ ved hjelp av i-ROP DL er statistisk signifikant ikke dårligere enn gjennomsnittlig AUC uten hjelp av i-ROP DL for diagnose av pluss sykdom, på alfa = 0,05 signifikansnivå.

Hvis det første ko-primære endepunktet er statistisk signifikant, vil det andre ko-primære endepunktet bli testet. Det andre co-primære endepunktet vil anses å ha vist sikkerhet og effektivitet av i-ROP DL hvis gjennomsnittlig AUC per individ ved hjelp av i-ROP DL er statistisk signifikant overlegen gjennomsnittlig AUC uten hjelp av i-ROP DL for diagnose av pluss sykdom, på alfa = 0,05 signifikansnivå.

De sekundære endepunktene er:

• Forskjeller i gjennomsnittlig sensitivitet og spesifisitet per emne for lesere med og uten hjelp av i-ROP DL for klassifisering av pluss sykdom fra ingen pluss/pre-pluss tilfeller.

Sensitivitet og spesifisitet beregnes fra leserens svar for de tre kategoriene (ingen pluss, pre-pluss og pluss), med pluss som positiv.

• Forskjell i interleseravtale med og uten hjelp av i-ROP DL for klassifisering av pluss sykdom fra ingen pluss/pre-pluss tilfeller.
• Ikke-underordnet gjennomsnittlig areal per individ under ROC-kurven (AUC) ved hjelp av i-ROP DL versus uten hjelp av i-ROP DL, basert på sannsynlighetsskår ved diagnose av pre-pluss eller verre sykdom.
• Overlegent gjennomsnittlig areal per individ under ROC-kurven (AUC) ved hjelp av i-ROP DL versus uten hjelp av i-ROP DL, basert på sannsynlighetsskår ved diagnose av pre-pluss eller verre sykdom.

Bakgrunn

Retinopati av prematuritet er en sykdom som utvikler seg når babyer blir født for tidlig før netthinnen er fullt utviklet [1]. Det er en ledende årsak til barndomsblindhet over hele verden, men blindhet kan vanligvis unngås med nøyaktig diagnose og rettidig behandling av babyer med behandlingskrevende sykdom [1]. Hvert land har akseptert kriterier for hvilke babyer som trenger øyeundersøkelser. I USA krever alle babyer født mindre enn 31 uker etter menstruasjon (PMA) eller under 1500 gram diagnostiske øyeundersøkelser som starter ved 31 uker PMA eller 4 uker etter fødselen, avhengig av hva som er senere [2]. Undersøkelser gjentas med 1-2 ukers mellomrom avhengig av sykdomsnivået som ble identifisert ved undersøkelsen.

Diagnose av ROP stilles enten ved hjelp av oftalmoskopi (personlig undersøkelse ved sengekanten) eller ved bruk av telemedisin med ekstern digital fundusavbildning [2] [3]. Telemedisin har blitt en akseptabel standard for omsorg for ROP-diagnostiske undersøkelser, og i de fleste telemedisinske arbeidsflyter gjentas undersøkelser ukentlig for å minimere risikoen for manglende ROP. Enten undersøkelser skjer personlig eller via telemedisin, er øyelegen ansvarlig for å dokumentere tilstedeværelse eller fravær av ROP ved å bruke retningslinjene for International Classification of ROP (ICROP), inkludert å dokumentere tilstedeværelse og grad av sone, stadium og pluss sykdom [4].

Gjeldende behandlingsretningslinjer foreslår at akuttbehandling (innen 48 timer) bør skje når babyer utvikler "type 1" ROP, definert som sone I trinn 3 ROP (med eller uten pluss), eller en hvilken som helst sone eller stadium med pluss [5]. Fordi sone I stadium 3 uten pluss er sjelden, har disse retningslinjene etablert pluss sykdom som det viktigste kliniske trekk som bestemmer behovet for behandling i ROP. Pluss sykdom er generelt definert som utvidelse og tortuositet av de bakre retinalårene i sone I i forhold til et standard publisert fotografi. Ettersom digital fundusavbildning har blitt mer standard, har det imidlertid blitt klart at diagnosen plusssykdom i praksis ikke alltid stilles konsekvent, med betydelig inter-observatørvariabilitet. Som et resultat erkjenner ICROP 3. utgave, utgitt i 2021, at pre-pluss og pluss kjører et spektrum som er relatert til den generelle alvorlighetsgraden av ROP i øyet [4] [5].

Fordi behandling er påtrengende når type 1 ROP er diagnostisert, når borderline sykdom er diagnostisert hos pasienter, kan øyelegen som er ansvarlig for omsorgen for den babyen foreslå henvisning til personlig oftalmoskopisk undersøkelse og mulig behandling, for å unngå behandlingsforsinkelse i tilfelle logistikk eller transport utfordringer. Av den grunn er det bedre å diagnostisere alvorlig ROP før babyer går videre til type 1 ROP / pluss sykdom.

i-ROP DL-systemet er en screeningsenhet for bruk av trente sykepleiere, fotografer eller teknikere som utfører screening-øyeundersøkelser med Retcam 3-kameraet. Utgangen fra enheten er en "refer" eller "repetisjon" som tildeles for hver pasient som gjenspeiler spekteret av vaskulære endringer i pre-pluss og pluss sykdom [6] [7].

Utdataene vil bli sendt til en øyelege for gjennomgang hvis "mer enn mild ROP" er oppdaget ("refer"), ved bruk av de samme bildene analysert av algoritmen (ingen separat undersøkelse kreves). Klinikeren kan bestemme videre ledelse basert på en standard telemedisinsk arbeidsflyt. I tilfeller av "ingen henvisning nødvendig", vil babyen bli satt til en oppfølgingsundersøkelse om 1 uke (typisk for telemedisinske programmer). Dette sikrer at hvis en baby utvikler seg til mer enn mild ROP over tid, er det flere muligheter til å oppdage den og flagge den for klinisk vurdering. Foreløpig arbeid tyder på at babyer vanligvis når terskelen for MTMROP 2-4 uker før diagnosen TR-ROP, noe som gjør risikoen for et ubesvart tilfelle svært lav.

i-ROP DL-systemet er også et hjelpemiddel for diagnose for bruk av øyelegen som utfører diagnostiske øyeundersøkelser ved bruk av telemedisinsk gjennomgang av digitale fundusbilder ved hjelp av Retcam 3-kameraet. Utgangen fra det diagnostiske hjelpeapparatet er en "vaskulær alvorlighetsscore" (fra 1-9) som tildeles på øyehøyde som reflekterer spekteret av vaskulære endringer i pre-pluss og pluss sykdom [6] [7]. Den vaskulære alvorlighetsgraden beregnes basert på den underliggende sannsynligheten for en klassifisering av ingen pluss, pre-pluss eller pluss, og tilsvarer den relative sannsynligheten for at en tilfeldig ekspert vil diagnostisere pluss sykdom (i den ytterste enden av spekteret, 9, 100 % av eksperter ville diagnostisere pluss sykdom) [7].

Denne utgangen har to fordeler som kan forbedre diagnosen pre-pluss og pluss sykdom, og redusere risikoen for sen behandling for babyer i sammenheng med telemedisin. For det første er høyere vaskulær alvorlighetsgrad ikke bare assosiert med en høyere sannsynlighet for pluss sykdom, men også med høyere stadium og omfang av perifer sykdom [6] [8], som kanskje er synlig på alle bildene. Ved telemedisinsk gjennomgang, hvis sykdomsstadiet ikke er synlig på perifere bilder, kan øyelegen vurdere enten å gjenta bildene eller henvise barnet til oftalmoskopisk undersøkelse. I dette tilfellet vil det "positive" resultatet ikke nødvendigvis utløse noen terapeutisk intervensjon, men det vil hjelpe øyelegen med å stille diagnosen. For det andre vil den vaskulære alvorlighetsskåren hjelpe til med diagnostisering og nøyaktighet av plusssykdom ved å gi en objektiv metrikk, forankret til ekspertdiagnose av plusssykdom [6] [7].

Studere design

Del 1: Denne kliniske studien er en retrospektiv, multisenter, observasjonsstudie for å vurdere sikkerheten og effektiviteten til i-ROP DL i screening for ROP i telemedisinsk omsorg. Studiedesignet samsvarer med Intent to Screen (ITS) paradigmet.

Del 2: Denne kliniske forskningen er en retrospektiv, pivotal, multi-reader, multi-case (MRMC) studie med et beriket utvalg på omtrent 60 pluss-tilfeller (fag), 120 pre-plus-tilfeller og 120 ingen pluss-tilfeller.

• Referansestandarddiagnose Referansestandarddiagnosen (RSD) for 3-klassens grunnsannhet (ingen pluss, pre-pluss eller pluss) vil bli bestemt på øyehøyde av majoritetsklassifiseringen av 5 ROP-eksperter som uavhengig vil klassifisere alle øyne i datasettet. I det usannsynlige tilfellet med 2/2/1 uenighet, vil de 5 ekspertene bli bedt om å vurdere synsundersøkelsen sammen til det er flertall (minst 3/5 er enige).
• RSD-prosessen RSD-ekspertene vil gjennomgå alle saker som er valgt for inkludering i leserstudien. RSD-ekspertene vil fullføre en eCRF for hvert tilfelle, basert på øyebilder og tilgjengelig klinisk informasjon fra bildeinnsamlingsstedet.
• Leseprosessen Omtrent 16 øyeleger vil uavhengig utføre to avlesninger på alle (omtrent 300) tilfeller. Hver leser vil lese hver sak både uten hjelp av i-ROP DL og deretter ved hjelp av i-ROP DL.

Den første lesingen vil rekapitulere gjeldende standard for omsorg med en øyelege som evaluerer det overordnede nivået av ROP-alvorlighet uten hjelp av i-ROP DL ved å bruke den internasjonale klassifiseringen av ROP (ICROP) [1] kriteriene for sone, stadium og pluss sykdom .

Den andre lesingen vil evaluere effekten av i-ROP DL-utgangen på pluss sykdomsdiagnose ved å bruke de samme kriteriene. For å minimere tilbakekallingsskjevhet vil de to lesebesøkene bli adskilt av en minneutvaskingsperiode på omtrent fire uker.

Denne kliniske forskningen er en retrospektiv, pivotal, multi-reader, multi-case (MRMC) studie med et beriket utvalg på omtrent 300 tilfeller som vil bli valgt fra biblioteket av telemedisinske tilfeller samlet inn under Telemedicine Approaches to Evaluating Acute Phase ROP (e- ROP) Studie.

Alle fag i biblioteket har tidligere gitt skriftlig informert samtykke for inkludering i e-ROP-studien. Som en del av samtykkeprosessen ble forsøkspersonene enige om at bildedata og støttedokumentasjon kunne brukes til fremtidig forskning og undersøkelser. Kun avidentifiserte data og netthinnebilder vil bli brukt i denne studien.

Evaluerbare tilfeller er definert som personer som oppfylte alle protokollens inklusjons-/eksklusjonskriterier, og som har et komplett sett med øyeundersøkelser av tilstrekkelig kvalitet. Kvaliteten på hvert bilde er kategorisert som god, tilstrekkelig, dårlig eller manglende, basert på fokus, klarhet og feltdefinisjon.

Tiltak for å sikre emne- og leserkonfidensialitet inkluderer tildeling av unike studie- og leser-ID-nummer.

• Prøvestørrelse og saksblanding Beriket prøvestørrelse på ca. 300 tilfeller (emner) med følgende saksblanding: 60 pluss-saker, 120 pre-plus-saker og 120 ingen pluss-saker.
• Saksutvelgelse og målrettet distribusjon Den uavhengige statistikeren vil velge saker for denne sentrale leserstudien, og saker vil bli tilfeldig valgt for å gi representative fordelinger av rase på tvers av registreringssteder, i den grad dette kan oppnås ved å bruke saker i saksbiblioteket.

Inkluderings- og eksklusjonskriterier Alle tilfeller for denne pivotale valideringsstudien vil oppfylle følgende kriterier for inkludering og eksklusjon. (se også vedlegg A for inklusjons- og eksklusjonskriterier for protokoll e-ROP). Bare forsøkspersoner som ble samtykket, oppfylte alle inklusjonskriteriene og ingen av eksklusjonskriteriene, og fullførte den nødvendige opparbeidingen for å etablere referansestandarden for diagnose, vil bli vurdert som evaluerbare.

Inklusjonskriteriene for alle tilfeller i studien er som følger:

• Kvalifiserte personer under protokoll e-ROP, definert som spedbarn med fødselsvekt (BW) mindre enn 1251 g som oppfyller gjeldende ROP-screening.
• Øyebokser oppfyller bildekvalitetskravene for å etablere referansestandarddiagnosen pluss, pre-pluss og ingen pluss tilfeller.
• Forsøkspersoner har kjent referansestandard diagnose grunnsannhet. Hvis referansestandarddiagnoseprosessen ikke kan lage en RSD-etikett for plusssykdom, vil øyet ikke bli inkludert i studien.
• Bilde hentet av følgende enhet: RetCam Ophthalmic Imaging Systems 3 (Natus Medical Incorporated).

Eksklusjonskriteriene for alle tilfeller i studien er som følger:

• Forsøkspersoner som bryter protokollen e-ROP.
• Emner som bryter inklusjonskriteriene i denne protokollen. Casevalg og målrettet distribusjon Alle forsøkspersoner som oppfyller inklusjons- og eksklusjonskriterier fra e-ROP-studien vil bli inkludert i denne studien. e-ROP-studien representerer den naturlige forekomsten av pluss og pre-plus sykdomstilfeller i det kliniske miljøet. Det er ingen databerikelse i e-ROP-studien.

Rekrutteringsmetoder

Denne studien vil bli utført med styresertifiserte øyeleger med varierende erfaringsnivå, med minst ett års erfaring med å utføre ROP-undersøkelser. Disse øyelegene vil ikke være assosiert med anskaffelse eller gjennomgang av studietilfeller og deltok ikke i RSD-prosessen. Et spørreskjema vil bli sendt til potensielle lesere for å bestemme brøkdelen av deres profesjonelle tid viet til ROP-diagnose. Etterforskere vil invitere potensielle lesere gjennom listetjenesten til American Academy of Pediatric Ophthalmology and Strabismus og Retina Society. Omtrent 16 styresertifiserte øyeleger, med en rekke erfaring basert på mange års erfaring, vil bli valgt ut til å lese og score studiesakene.

ROP-leserfaring vil bli kategorisert i tre grupper:

• High Experience Reader - definert som øyeleger som har >10 års erfaring med å lese ROP-bilder.
• Medium Experience Reader - definert som øyeleger som har 5-10 års erfaring med å lese ROP-bilder.
• Low Experience Reader - definert som øyeleger som har 1-4 års erfaring med å lese ROP-bilder.

Inklusjonskriteriene (kvalifikasjonskriteriene) for alle lesere i studien er som følger:

• U.S.A. styrekvalifisert/styresertifisert og lisensiert medisinsk lege, lege for oftalmologi. (American Board of Ophthalmology eller tilsvarende sertifisering)
• Signert leserstudieavtale.
• Signert informert samtykke.
• Vellykket opplæring i studieprotokollen og bruk av studieprogramvaren.

Samtykkeprosess

Hver leser må gi skriftlig informert samtykke før de deltar i leserstudiet av denne protokollen. Fordi leserne befinner seg over hele verden, vil etterforskerne gi elektronisk samtykke gjennom docusign.

Prosedyrer involvert Leseprosessen Formål Hensikten med leseprosessen er at leserne skal gi vurderingskategoriene pluss, pre-pluss og ingen pluss, sannsynlighetsscore på pluss og pre-pluss eller dårligere på de elektroniske saksrapportskjemaene for deres tolkning av studietilfellene med og uten hjelp av i-ROP DL.

Gjennomføring av leseprosessen Etter vellykket gjennomføring av leseropplæringen, vil leserne uavhengig vurdere og score hvert av tilfellene i casesettet med leserstudier. Klinisk informasjon om emnene, inkludert fødselsvekt, svangerskapsalder og postmenstruell alder ved øyeundersøkelse, vil bli gitt til leserne. Hver leser vil jobbe på en utpekt lesestasjon og vil uavhengig utføre to leseseksjoner på alle saker. Hver leser vil lese hver sak både som en standardlesing og en lesning ved hjelp av i-ROP DL. Hver leser vil lese alle tilfeller som standardlesing under det første besøket. Leseren vil deretter lese sakene ved hjelp av i-ROP DL under det andre besøket. For å minimere skjevhet i minnet vil de to leseseksjonene være atskilt med en minneutvaskingsperiode på omtrent fire uker.

Lesestasjonen vil levere forhåndslastede saker fra serveren gjennom sikret nettforbindelse. Tillatt lesetid per sak vil ikke være begrenset. Det vil bli tilbudt lunsjpause under hver leseøkt, og leserne vil bli oppfordret til å ta 5-10 minutters pause hver time, etter behov. Hver leser vil legge inn sine tolkninger direkte i det elektroniske saksrapportskjemaet. Hver leser vil signere et attestasjonsskjema som bekrefter den dokumenterte informasjonen.

Core Reading Center Leseprosessen vil bli utført eksternt hjemme hos leseren eller på kontoret, slik de ville vært i tiltenkt bruk ved telemedisinsevaluering.

Forberedelse av saker for tolkning For å opprettholde konfidensialitet vil ingen identifiserende emnedata bli vist. Unike bildeidentifikatorer knyttet til saks-ID-nummeret vil være synlig på hvert bilde for sporingsformål. For å opprettholde leserens konfidensialitet, vil et unikt ID-nummer bli tildelt hver leser som deltar i den sentrale leserstudien for oppføring på det elektroniske saksrapportskjemaet.

Informasjon som samles inn i løpet av studien vil bli rapportert på en slik måte at det utelukker identifikasjon av eventuelle bildeinnsamlingssentre eller lesernes ytelse.