Diagnostisk Nøjagtighed af Carebot AI MMG i Mammografiscreening: Multicenter MRMC-undersøgelse (CARE-MMG-MRMC)

Design og ramme Dette er en retrospektiv, multicenter, multi-reader, multi-case (MRMC) diagnostisk nøjagtighedsundersøgelse af Carebot AI MMG, udført på anonymiserede 2D full-field digital mammografi (FFDM) undersøgelser, der er indsamlet som en del af rutinemæssig brystkræftscreening. Mammogrammer blev indsamlet fra fire screeningscentre over en defineret tidsperiode. Der blev ikke udført yderligere billeddannelse med henblik på denne undersøgelse, og ingen deltagere blev kontaktet.

Datakilde og population Kilde-datasættet består af 4.729 screeningsmammografiundersøgelser fra kvinder i alderen 32 til 88 år (gennemsnit ca. 57 år). Kun 2D FFDM-undersøgelser med et komplet sæt standardprojektioner (LCC, RCC, LMLO, RMLO) blev inkluderet. Undersøgelser med ufuldstændige serier, ulæselige eller korrupte DICOM-filer eller manglende/inconsistente nøglemetadata blev ekskluderet, ligesom tomosyntese (DBT)-undersøgelser, mænd og kvinder under 18 år. For at sikre tilstrækkelig præcision af præstationsestimater blev datasættet beriget med yderligere biopsibekræftede kræfttilfælde. Det endelige analytiske undersæt omfatter 222 undersøgelser, herunder 48 maligne og 174 ikke-maligne undersøgelser, med repræsentation på tværs af tre mammografi-enheder (Hologic Selenia Dimensions, Hologic Lorad Selenia, Fujifilm FDR-3000AWS).

Undersøgelsesenhed og komparator Undersøgelsesenheden er Carebot AI MMG (softwareversion 2.9, deep-learning-modeller v2.3), et fritstående AI-system, der analyserer 2D FFDM-undersøgelser og outputter en sag-niveau klassifikation i tre kategorier sammen med en intern risikoscore. To foruddefinerede driftspunkter evalueres: en højfølsomhed (HSe) tærskel, hvor både godartede og ondartede masser behandles som "positive" (rule-out setting), og en højspecifik (HSp) tærskel, hvor kun ondartede masser tælles som "positive" (rule-in setting).

Som en menneskelig komparator læste tre erfarne radiologer (RAD 1-3) uafhængigt de samme anonymiserede undersøgelser ved hjælp af en dedikeret DICOM-viewer integreret med en mærkningsapplikation. Radiologer var blindede for AI-output, kliniske oplysninger og udfald og registrerede en sag-niveau klassifikation i de samme tre kategorier (Negativ/Godartet/Ondartet). For primære analyser afledes deres binære beslutninger ved hjælp af de samme HSe- og HSp-regler. Derudover konstrueres et "tilfældig læser" benchmark for afbalanceret nøjagtighed ved gentagne gange at udtage en radiologs beslutning pr. sag i en bootstrap-ramme (20.000 iterationer).

Referencestandard Reference standarden etableres på undersøgelsesniveau. En sag mærkes "Ondartet", hvis der er histopatologisk bekræftelse af brystkræft fra biopsi udført i tidsmæssig sammenhæng med indeks-mammogrammet. En sag mærkes "Ikke-ondartet", hvis der er konsensus mellem to lokale radiologer om, at fundet er negativt eller stabilt godartet, typisk bekræftet af mindst 2 års billedfølgning. Tumorstadie (f.eks. TNM) bruges ikke i den nuværende analyse. Alle 48 ondartede sager fra de deltagende centre er inkluderet i det analytiske undersæt; ingen kræft-positive undersøgelser blev ekskluderet.

Mål og endpoints De primære mål er: (1) at demonstrere, at den afbalancerede nøjagtighed (BA) af Carebot AI MMG er mindst 0,80 i både HSe- og HSp-driftspunkter; (2) at demonstrere ikke-underlegenhed af AI's afbalancerede nøjagtighed sammenlignet med MRMC "tilfældig læser" benchmark med en ikke-underlegenhedsmargin på 0,05; og (3) at demonstrere ikke-underlegenhed af følsomhed (Se) af AI versus hver af de tre radiologer i både HSe og HSp, med en ikke-underlegenhedsmargin på 0,07. Sekundære mål er at beskrive specificitet (Sp), positiv prædiktiv værdi (PPV), negativ prædiktiv værdi (NPV) og at karakterisere mønstre af falsk-negative og falsk-positive beslutninger og deres potentielle implikationer for klinisk risikostyring.

Statistisk analyse Diagnostiske præstationsmålinger (Se, Sp, PPV, NPV, BA) beregnes på sagniveau for Carebot AI MMG og hver radiolog i både HSe og HSp. Wilson 95% konfidensintervaller anvendes for proportioner. Parrede McNemar-tests bruges til at sammenligne AI og individuelle læsere med hensyn til Se og Sp. For afbalanceret nøjagtighed anvendes en MRMC bootstrap-procedure med 20.000 iterationer til at konstruere fordelingen af den tilfældige læser og estimere sandsynligheden for, at BA_AI er større end eller lig med BA_tilfældig minus den foruddefinerede margin. Ikke-underlegenhed i følsomhed vurderes ved hjælp af et Nam-Blackwelder-type rammeværk på diskordante par. Falsk-negative og falsk-positive sager gennemgås kvalitativt med vægt på læsionssynlighed, brysttæthed og typiske fejlmønstre (f.eks. tæt parenchym, læsioner nær pectoral-musklen, godartede vaskulære strukturer, asymmetrier).

Risiko, etik og databeskyttelse Undersøgelsen er ikke-interventionel og helt retrospektiv. Alle mammografiundersøgelser blev indsamlet som en del af rutinemæssig pleje før undersøgelsen, og alle DICOM-data blev irreversibelt anonymiseret på stedniveau i overensstemmelse med GDPR og gældende national lovgivning før overførsel til sponsor. Der sker ingen yderligere strålingseksponering eller patientkontakt, og der forventes ingen bivirkninger. Givet dette design opfylder undersøgelsen ikke MDR-definitionen af en klinisk undersøgelse i henhold til artikel 62 og er ikke underlagt forudgående meddelelse i henhold til artikel 74(1); individuel informeret samtykke er ikke påkrævet. Resultaterne er beregnet til at understøtte den kliniske evaluering af Carebot AI MMG som et beslutningsstøtteværktøj i organiseret mammografiscreening.