Eine multizentrische Studie zur Bewertung der Leistung eines automatisierten Geräts zur Erkennung diabetischer Retinopathie

Von Januar 2017 bis Juli 2017 wurden 900 Teilnehmer prospektiv in diese Beobachtungsstudie an 10 Praxen der Grundversorgung in den Vereinigten Staaten aufgenommen. Die Studie wurde vom institutionellen Prüfungsausschuss für jeden Standort genehmigt, und alle Teilnehmer gaben eine schriftliche Einverständniserklärung ab. Die Studie, die von IDx LLC finanziert wurde, wurde von den Autoren mit Beiträgen der US-amerikanischen Food and Drug Administration (FDA) zu den Endpunkten, statistischen Tests und dem Studiendesign konzipiert. Emmes Corp, ein Auftragsforschungsinstitut (CRO), stellte das Gesamtprojektmanagement bereit, einschließlich Datenmanagement und unabhängiger Überwachungs- und Prüfungsdienste für alle Standorte. CCR, Inc., ein Algorithm Integrity Provider (AIP), wurde beauftragt, das KI-System zu sperren, alle Zwischen- und Endergebnisse und Bilder treuhänderisch aufzubewahren und dem Sponsor den Zugriff darauf von vor Beginn der Studie bis zu untersagen endgültige Datensperre. Da dem Sponsor somit der Zugriff auf das KI-System untersagt war, führte das AIP alle notwendigen Wartungs- und Instandhaltungsaktivitäten während der Studie sowie während des Abschlusses durch.

Die Zielpopulation waren asymptomatische Personen ab 22 Jahren, bei denen Diabetes diagnostiziert worden war und bei denen zuvor noch keine DR diagnostiziert worden war. Eine Diagnose von Diabetes wurde definiert als Erfüllung der Kriterien, die entweder von der Weltgesundheitsorganisation (WHO) oder der American Diabetes Association (ADA) festgelegt wurden; Hämoglobin A1c (HbA1c) ≥ 6,5 % basierend auf wiederholten Bewertungen; Nüchtern-Plasmaglukose (FPG) ≥ 126 mg/dl (7,0 mmol/l) basierend auf wiederholten Bewertungen; Oraler Glukosetoleranztest (OGTT) mit 2-Stunden-Plasmaglukose (2-Stunden-PG) ≥ 200 mg/dL (11,1 mmol/L) unter Verwendung des Äquivalents einer oralen Dosis von 75 g wasserfreier Glukose, gelöst in Wasser; oder Symptome einer Hyperglykämie oder hyperglykämischen Krise mit einem zufälligen Plasmaglukosewert (RPG) ≥ 200 mg/dl (11,1 mmol/l).

Um dabei zu helfen, eine ausreichende Anzahl von mtmDR-Teilnehmern für die Bewertung der Sensitivität einzuschreiben, wurde während der Studie eine schrittweise Anreicherungsstrategie, wie im vorgegebenen Protokoll angegeben, angewendet, um eine ausreichende Anzahl von mtmDR-Teilnehmern zu rekrutieren. Die Anreicherungsstrategie suchte Teilnehmer mit höherem Risiko und erhöhtem HbA1c-Spiegel (>9,0 %) oder erhöhtem Nüchtern-Plasmaglukosespiegel; diese Anreicherung wurde unabhängig vom Statistiker aktiviert, während sie immer mit den Ausgaben des KI-Systems und den ETDRS-Erkrankungsniveaus maskiert blieb. Um eine unbeabsichtigte Spektrumsverzerrung in der Population „keine/schwache“ Population zu berücksichtigen, wurde in der Studie ein Spezifitäts-Ergebnisparameter vordefiniert, um eine potenzielle Spektrumsverzerrung zu korrigieren, die sich aus dieser Anreicherungsstrategie als co-primär ergibt.

Alle Standorte der Primärversorgung in der Studie identifizierten einen oder mehrere Auszubildende für interne Bediener, um das KI-Systemprotokoll durchzuführen. Nach der Installation der Ausrüstung durch den Sponsor am Standort, aber bevor ein Teilnehmer rekrutiert wurde, mussten die Auszubildenden des KI-Systembedieners bestätigen, dass sie zuvor keine okulare Bildgebung durchgeführt hatten. Außerdem durchliefen die Auszubildenden zum KI-Systembediener vor Beginn der Studienrekrutierung an jedem Standort einmalig ein standardisiertes 4-Stunden-Trainingsprogramm. Sie wurden geschult, wie man Bilder erfasst, wie man die Bildqualität verbessert, wenn das KI-System eine unzureichende Ausgabequalität liefert, und wie man Bilder zur Analyse in das KI-System eingibt. Für die Dauer der Studie wurde keinem der Bediener des KI-Systems eine zusätzliche Schulung angeboten. Unabhängig davon wurden FPRC-zertifizierte Expertenfotografen an geografischen Standorten in der Nähe jedes Standorts vom CRO identifiziert, und es war eine dokumentierte 4W-D-FPRC-Zertifizierung erforderlich, bevor ein Teilnehmer fotografiert wurde. Der CRO führte an jedem Standort unabhängig Standortinitiationsbesuche durch, um sicherzustellen, dass jeder Standort alle Anforderungen der guten klinischen Praxis vor Beginn der Aufnahme erfüllt.

Studienprotokoll. Alle Teilnehmer gaben ihre schriftliche Einverständniserklärung zur Teilnahme sowohl am KI-Systemprotokoll als auch am FPRC-Bildgebungsprotokoll unter Verwendung von zwei verschiedenen Kameras:

Das KI-Systemprotokoll bestand aus den folgenden Schritten:

1. Der Bediener nimmt Bilder mit einer nicht-mydriatischen Netzhautkamera (NW400, Topcon Medical Systems, Oakland, NJ) gemäß einem standardisierten Bildgebungsprotokoll mit einem Bandscheiben- und einem Fovea-zentrierten 45°-Bild pro Auge auf;
2. Der Bediener übermittelt Bilder an das KI-System zur automatisierten Bewertung der Bildqualität und Protokolleinhaltung;
3. Wenn das KI-System eine unzureichende Qualität ausgibt, werden die Schritte 1-2 wiederholt, bis eine ausreichende Qualität ausgegeben wird oder 3 Versuche unternommen wurden. Wenn das KI-System immer noch anzeigt, dass die Bildqualität unzureichend ist, werden die Pupillen des Teilnehmers mit Tropicamid 1,0 % Augentropfen (vom Sponsor an jedem Standort bereitgestellt) erweitert, bis der Pupillendurchmesser in jedem Auge mindestens 5 mm beträgt oder 30 Minuten vergangen sind , und die Schritte 1-2 werden wiederholt, bis eine ausreichende Qualität ausgegeben wird oder 3 Versuche unternommen wurden. Wenn das KI-System immer noch ausgibt, dass Bilder von unzureichender Qualität sind, wird die Ausgabe des KI-Systems mit unzureichender Qualität automatisch per sicherer Datenübertragung an den CRO geliefert;
4. Immer wenn das KI-System eine ausreichende Qualität anzeigt, wird die Krankheitsstufe des KI-Systems (entweder mtmDR erkannt oder mtmDR nicht erkannt) automatisch über eine sichere Datenübertragung an den CRO übermittelt; Die endgültige KI-Systemausgabe, die dem CRO nach diesem Protokoll bereitgestellt wurde, war mtmDR erkannt, mtmDR nicht erkannt oder unzureichende Qualität

Das FPRC-Bildgebungsprotokoll wurde dann durchgeführt und bestand aus den folgenden Schritten, die alle von einem FPRC-zertifizierten Fotografen durchgeführt wurden:

1. Wenn der Teilnehmer nicht bereits geweitet ist, werden erweiternde Augentropfen von Tropicamid 1,0 % verabreicht;
2. Digitale stereoskopische Weitfeld-Fundusfotografie wird unter Verwendung einer Kamera durchgeführt, die Weitfeldfotografie (Maestro, Topcon Medical Systems, Oakland, NJ) gemäß dem FPRC 4W-D-Stereoprotokoll von einem FPRC-zertifizierten Fotografen durchführen kann;
3. Die Fotografie des vorderen Segments zur Beurteilung der Medienopazität wird gemäß der Age Related Eye Disease Study von einem FPRC-zertifizierten Fotografen durchgeführt;
4. Die OCT der Makula wird mit einem Standard-OCT-System durchgeführt, das in der Lage ist, einen Würfelscan mit mindestens 121 B-Scans (Maestro, Topcon Medical Systems, Oakland, NJ) gemäß dem FPRC-OCT-Protokoll von einem FPRC-zertifizierten Fotografen zu erstellen.

Die FPRC-zertifizierten Fotografen waren zu jeder Zeit für die Ausgänge des KI-Systems maskiert.

Referenzstandards. Das FPRC-Einstufungsprotokoll bestand aus der Bestimmung der ETDRS-Schweregradskala (SS)-Werte für Fundusfotos und der standardisierten OCT-Einstufung wie folgt: Die 4W-D-Bilder wurden von drei erfahrenen und validierten Lesern bei der FPRC gemäß dem etablierten ETDRS-SS gelesen, unter Verwendung eines Mehrheitsentscheidungsparadigmas. Die Makula-OCT-Bilder wurden von erfahrenen Lesern am FPRC gemäß dem DRCR-Grading-Paradigma auf das Vorhandensein von DME mit Zentrumsbeteiligung bewertet. Für jeden Teilnehmer wurden die ETDRS-Werte auf mtmDR+ (ETDRS-Wert 35 oder höher und/oder DME vorhanden) oder mtmDR- (ETDRS-Wert 10–20 und DME nicht vorhanden) abgebildet, wobei das schlechteste der beiden Augen den Ausgängen von entspricht das KI-System auf Teilnehmerebene.16 Um die Sensitivität für die Fälle zu messen, die eine sofortige Nachsorge erfordern, die als visusbedrohende DR bezeichnet werden, haben wir vtDR + als ETDRS-Level 53 oder höher und/oder DME definiert. Siehe Ergänzungstabelle 2 für die Zuordnung von ETDRS- und DME-Leveln zu dichotomem mtmDR- und mtmDR +und vtDR+. Da DME sowohl anhand der Netzhautverdickung auf stereoskopischen Fundusaufnahmen als auch anhand der Netzhautverdickung im OCT identifiziert werden kann, haben wir beide separat analysiert. Auf stereoskopischem Fundus basierendes klinisch signifikantes DMÖ (CSDME) wurde identifiziert, wenn entweder eine Netzhautverdickung oder benachbarte harte Exsudate < 600 μm vom Fovealzentrum entfernt oder eine Zone der Netzhautverdickung > 1 Bandscheibenbereich, von denen ein Teil weniger als 1 Bandscheibendurchmesser entfernt war, vorlag das foveale Zentrum, laut FPRC, in jedem Auge. OCT-basiertes Zentrums-beteiligtes DME wurde identifiziert, wenn ein Teilnehmer ein zentrales Teilfeld (ein 1,0-mm-Kreis mit Mittelpunkt auf der Fovea) mit einer Dicke von > 300 μm gemäß FPRC in irgendeinem Auge aufwies.20 Dementsprechend präzisieren wir die Definition von mtmDR weiter, wobei relevant:

Fundus mtmDR+ ist definiert als

• ETDRS-Level ≥ 35 (bestimmt aus Fundusfotos) und/oder
• CSDME (bestimmt aus Fundusfotos)

und multimodal mtmDR+ ist definiert als:

• ETDRS-Level ≥ 35 (bestimmt aus Fundusfotos) und / oder
• CSDME (ermittelt aus Fundusaufnahmen) und/oder
• Zentrums-beteiligtes DME (ermittelt aus OCT).

und ähnlich für vtDR + . FPRC-Lesegeräte waren zu jeder Zeit auf die Ausgänge des KI-Systems maskiert, bei der Auswertung der OCT-Bilder auf die Messwerte der Fundusfotos maskiert und bei der Auswertung der Fundusfotos auf die OCT-Messwerte maskiert.