En multisenterstudie for å evaluere ytelsen til en automatisert enhet for påvisning av diabetisk retinopati

Fra januar 2017 til juli 2017 ble 900 deltakere prospektivt registrert i denne observasjonsstudien ved 10 primærhelsetjenestesteder over hele USA. Studien ble godkjent av den institusjonelle vurderingskomiteen for hvert nettsted, og alle deltakerne ga skriftlig informert samtykke. Studien, som ble finansiert av IDx LLC, ble designet av forfatterne med innspill fra U.S. Food and Drug Administration (FDA) om endepunkter, statistisk testing og studiedesign. Emmes Corp, en kontraktsforskningsorganisasjon (CRO), leverte overordnet prosjektledelse, inkludert dataadministrasjon og uavhengige overvåkings- og revisjonstjenester for alle nettsteder. CCR, Inc., en Algorithm Integrity Provider (AIP), ble inngått kontrakt for å låse AI-systemet, holde eventuelle mellom- og sluttresultater og bilder i deponering, og forby sponsorens tilgang til disse, fra før studiestart til endelig datalås. Fordi sponsoren dermed ble forhindret fra tilgang til AI-systemet, utførte AIP alle nødvendige vedlikeholds- og serviceaktiviteter under studien så vel som under hele avslutningen.

Målpopulasjonen var asymptomatiske personer i alderen 22 år og eldre som hadde blitt diagnostisert med diabetes og ikke tidligere hadde blitt diagnostisert med DR. En diabetesdiagnose ble definert som å oppfylle kriteriene fastsatt av enten Verdens helseorganisasjon (WHO) eller American Diabetes Association (ADA); Hemoglobin A1c (HbA1c) ≥ 6,5 % basert på gjentatte vurderinger; Fastende plasmaglukose (FPG) ≥ 126 mg/dL (7,0 mmol/L) basert på gjentatte vurderinger; Oral glukosetoleransetest (OGTT) med to-timers plasmaglukose (2-timers PG) ≥ 200 mg/dL (11,1 mmol/L) med tilsvarende en oral 75 g vannfri glukosedose oppløst i vann; eller symptomer på hyperglykemi eller hyperglykemisk krise med en tilfeldig plasmaglukose (RPG) ≥ 200 mg/dL (11,1 mmol/L).

For å hjelpe med å registrere et tilstrekkelig antall mtmDR-deltakere for evaluering av sensitivitet, ble en trinnvis berikelsesstrategi, som angitt i den forhåndsspesifiserte protokollen, brukt midt i studien for å rekruttere tilstrekkelig antall mtmDR-deltakere. Anrikningsstrategien søkte deltakere med høyere risiko med forhøyede HbA1c-nivåer (>9,0 %) eller forhøyet fastende plasmaglukose; denne berikelsen ble uavhengig aktivert av statistikeren mens den alltid forble maskert til AI-systemets utganger og ETDRS-sykdomsnivåene. For å ta høyde for eventuell utilsiktet spektrumskjevhet i den ingen/milde populasjonen, forhåndsdefinerte studien en spesifisitetsutfallsparameter for å korrigere for potensiell spektrumskjevhet som følge av denne berikelsesstrategien som co-primær.

Alle primærhelsetjenestestedene i studien identifiserte en eller flere interne operatørpraktikanter for å utføre AI-systemprotokollen. Etter installasjon av utstyret av sponsoren på stedet, men før noen deltaker ble rekruttert, måtte AI-systemoperatører attestere at de ikke tidligere hadde utført okulær avbildning. Før start av rekruttering av studier på hvert sted, gjennomgikk AI-systemoperatørpraktikanter et standardisert engangsopplæringsprogram på 4 timer. De ble opplært i hvordan man kan skaffe bilder, hvordan man kan forbedre bildekvaliteten hvis AI-systemet ga en utilstrekkelig kvalitetsutgang, og hvordan man legger inn bilder for analyse i AI-systemet. Ingen ytterligere opplæring ble gitt til noen av AI-systemoperatørene i løpet av studiet. Uavhengig ble FPRC-sertifiserte ekspertfotografer identifisert på geografiske steder i nærheten av hvert nettsted av CRO, og dokumentert 4W-D FPRC-sertifisering var nødvendig før noen deltaker ble avbildet. CRO fullførte uavhengig anleggsbesøk på hvert anlegg for å sikre at hvert anlegg oppfylte alle kravene til god klinisk praksis før start av registrering.

Studieprotokoll. Alle deltakerne ga skriftlig informert samtykke til å delta i både AI-systemprotokollen, så vel som FPRC-bildeprotokollen, ved bruk av to forskjellige kameraer:

AI-systemprotokollen besto av følgende trinn:

1. Operatøren tar bilder med et ikke-mydriatisk netthinnekamera (NW400, Topcon Medical Systems, Oakland, NJ) i henhold til en standardisert bildebehandlingsprotokoll med én plate og én fovea-sentrert 45°-bilde per øye;
2. Operatøren sender bilder til AI-systemet for automatisert bildekvalitet og protokolloverholdelsesevaluering;
3. Hvis AI-systemet gir utilstrekkelig kvalitet, gjentas trinn 1-2 inntil tilstrekkelig kvalitet er levert eller 3 forsøk ble gjort. Hvis AI-systemet fortsatt indikerer at bildene er av utilstrekkelig kvalitet, utvides deltakerens pupiller med tropicamid 1,0 % øyedråper, (leveres av sponsoren på hvert sted), inntil pupilldiameteren er minst 5 mm i hvert øye eller 30 minutter har gått , og trinn 1-2 gjentas til tilstrekkelig kvalitet er levert eller 3 forsøk ble gjort. Hvis AI-systemet fortsatt sender ut at bildene er av utilstrekkelig kvalitet, leveres AI-systemets utdata med utilstrekkelig kvalitet automatisk til CRO via sikker dataoverføring;
4. Når AI-systemet indikerer tilstrekkelig kvalitet, leveres AI-systemets sykdomsnivå (enten mtmDR oppdaget eller mtmDR ikke oppdaget) automatisk til CRO via sikker dataoverføring; den endelige AI-systemutgangen gitt til CRO etter at denne protokollen ble mtmDR oppdaget, mtmDR ikke oppdaget eller utilstrekkelig kvalitet

FPRC-bildeprotokollen ble deretter utført, og besto av følgende trinn, alle utført av en FPRC-sertifisert fotograf:

1. Hvis deltakeren ikke allerede er utvidet, administreres utvidende øyedråper med 1,0 % tropicamid;
2. Digital widefield stereoskopisk fundusfotografering utføres ved bruk av et kamera som er i stand til widefieldfotografering (Maestro, Topcon Medical Systems, Oakland, NJ) i henhold til FPRC 4W-D stereoprotokollen, av en FPRC-sertifisert fotograf;
3. Fremre segmentfotografering for vurdering av mediaopasitet utføres i henhold til Age Related Eye Disease Study, av en FPRC-sertifisert fotograf;
4. OCT av makula utføres ved å bruke et standard OCT-system som er i stand til å produsere en kubeskanning som inneholder minst 121 B-skanninger (Maestro, Topcon Medical Systems, Oakland, NJ) i henhold til FPRC OCT-protokollen, av en FPRC-sertifisert fotograf.

De FPRC-sertifiserte fotografene var maskert til AI-systemets utganger til enhver tid.

Referansestandarder. FPRC-graderingsprotokollen besto av bestemmelse av ETDRS Severity Scale (SS)-nivåer for fundusfotografier og standardisert OCT-gradering, som følger: 4W-D-bildene ble lest av tre erfarne og validerte lesere ved FPRC i henhold til den veletablerte ETDRS SS, ved å bruke et flertallsvalgparadigme. De makulære OCT-bildene ble evaluert for tilstedeværelse av senter-involvert DME av erfarne lesere ved FPRC i henhold til DRCR-graderingsparadigmet. For hver deltaker ble ETDRS-nivåene kartlagt til mtmDR+ (ETDRS-nivå 35 eller høyere og/eller DME tilstede), eller mtmDR- (ETDRS-nivå 10-20 og DME fraværende), og tok det verste av to øyne for å tilsvare utdataene til AI-systemet på deltakernivå.16 For å måle sensitivitet for tilfellene som krever umiddelbar oppfølging, kalt synstruende DR, definerte vi vtDR + som ETDRS-nivå 53 eller høyere, og/eller DME tilstede, se tilleggstabell 2 for kartlegging fra ETDRS- og DME-nivåer til dikotome mtmDR- og mtmDR +og vtDR+. Fordi DME kan identifiseres både på grunnlag av retinal fortykkelse på stereoskopiske fundusfotografier, så vel som på grunnlag av retinal fortykning på OCT, analyserte vi begge separat. Stereoskopisk fundusbasert klinisk signifikant DME (CSDME) ble identifisert hvis det var enten retinal fortykkelse eller tilstøtende harde ekssudater < 600 μm fra fovealsenteret, eller en sone med retinal fortykkelse > 1 skiveområde, hvorav en del er mindre enn 1 skivediameter fra fovealsenteret, ifølge FPRC, i ethvert øye. OCT-basert senter-involvert DME ble identifisert hvis en deltaker hadde sentralt underfelt (en 1,0 mm sirkel sentrert på fovea) tykkelse som var >300 μm i henhold til FPRC, i ethvert øye.20 Følgelig spesifiserer vi videre definisjonen av mtmDR der aktuell:

fundus mtmDR+ er definert som

• ETDRS-nivå ≥ 35 (bestemt fra fundusfotografier) ​​og/eller
• CSDME (bestemt fra fundusfotografier)

og multimodal mtmDR+ er definert som:

• ETDRS-nivå ≥ 35 (bestemt fra fundusfotografier), og/eller
• CSDME (bestemt fra fundusfotografier) ​​og/eller
• senter-involvert DME (bestemt fra OCT).

og tilsvarende for vtDR + . FPRC-lesere ble maskert til AI-systemets utganger til enhver tid, maskert til fundusfotografiavlesningen ved evaluering av OCT-bildene, og maskert til OCT-avlesninger ved evaluering av fundusfotografier.