Diagnostische nauwkeurigheid van Carebot AI MMG bij mammografie-screening: Multicenter MRMC-studie (CARE-MMG-MRMC)

Ontwerp en setting Dit is een retrospectieve, multicenter, multi-reader, multi-case (MRMC) diagnostische nauwkeurigheidsstudie van Carebot AI MMG, uitgevoerd op geanonimiseerde 2D full-field digitale mammografie (FFDM) onderzoeken die zijn verkregen als onderdeel van routinematige borstkankerscreening. Mammogrammen werden verzameld van vier screeningscentra gedurende een bepaalde periode. Er werd geen aanvullende beeldvorming uitgevoerd voor dit onderzoek en er werden geen proefpersonen gecontacteerd.

Databron en populatie De brondataset bestaat uit 4.729 screeningsmammografie onderzoeken van vrouwen in de leeftijd van 32 tot 88 jaar (gemiddeld ongeveer 57 jaar). Alleen 2D FFDM onderzoeken met een complete set standaardprojecties (LCC, RCC, LMLO, RMLO) werden geïncludeerd. Onderzoeken met onvolledige series, onleesbare of beschadigde DICOM-bestanden, of ontbrekende/inconsistente sleutelmetadata werden uitgesloten, evenals tomosynthese (DBT) onderzoeken, mannen en vrouwen onder de 18 jaar. Om voldoende precisie van prestatie-inschattingen te waarborgen, werd de dataset verrijkt met aanvullende biopt-bewezen kankers. De uiteindelijke analytische subset omvat 222 onderzoeken, waaronder 48 maligne en 174 niet-maligne studies, met vertegenwoordiging over drie mammografieapparaten (Hologic Selenia Dimensions, Hologic Lorad Selenia, Fujifilm FDR-3000AWS).

Onderzoeksapparaat en vergelijker Het onderzoeksapparaat is Carebot AI MMG (softwareversie 2.9, deep-learning modellen v2.3), een zelfstandig AI-systeem dat 2D FFDM onderzoeken analyseert en een casusniveau classificatie in drie categorieën uitvoert, samen met een interne risicoscore. Twee vooraf gedefinieerde werkpunten worden geëvalueerd: een hoge-gevoeligheid (HSe) drempel, waarbij zowel goedaardige als kwaadaardige massa's als "positief" worden behandeld (uitsluitingsinstelling), en een hoge-specificiteit (HSp) drempel, waarbij alleen kwaadaardige massa's als "positief" worden geteld (insluitingsinstelling).

Als menselijke vergelijker lazen drie ervaren radiologen (RAD 1-3) onafhankelijk dezelfde geanonimiseerde studies met behulp van een speciale DICOM-viewer geïntegreerd met een labelapplicatie. Radiologen waren geblindeerd voor AI-uitkomsten, klinische informatie en resultaten en registreerden een casusniveau classificatie in dezelfde drie categorieën (Negatief/Goedaardig/Kwaadaardig). Voor primaire analyses worden hun binaire beslissingen afgeleid met behulp van dezelfde HSe en HSp regels. Daarnaast wordt een "willekeurige lezer" benchmark geconstrueerd voor gebalanceerde nauwkeurigheid door herhaaldelijk de beslissing van één radioloog per casus te bemonsteren in een bootstrap framework (20.000 iteraties).

Referentiestandaard De referentiestandaard wordt vastgesteld op studieniveau. Een casus wordt gelabeld als "Kwaadaardig" als er histopathologische bevestiging is van borstkanker uit een biopt uitgevoerd in temporele associatie met het indexmammogram. Een casus wordt gelabeld als "Niet-kwaadaardig" als er consensus is tussen twee lokale radiologen dat de bevinding negatief of stabiel goedaardig is, doorgaans gecorroborreerd door ten minste 2 jaar beeldvormende follow-up. Tumorstadiëring (bijv. TNM) wordt niet gebruikt in deze analyse. Alle 48 maligne casussen van de deelnemende centra zijn opgenomen in de analytische subset; geen kanker-positieve onderzoeken werden uitgesloten.

Doelstellingen en eindpunten De primaire doelstellingen zijn: (1) aantonen dat de gebalanceerde nauwkeurigheid (BA) van Carebot AI MMG ten minste 0,80 is in zowel HSe als HSp werkpunten; (2) aantonen van non-inferioriteit van de AI's gebalanceerde nauwkeurigheid vergeleken met de MRMC "willekeurige lezer" benchmark met een non-inferioriteitsmarge van 0,05; en (3) aantonen van non-inferioriteit van gevoeligheid (Se) van AI versus elk van de drie radiologen in zowel HSe als HSp, met een non-inferioriteitsmarge van 0,07. Secundaire doelstellingen zijn het beschrijven van specificiteit (Sp), positief voorspellende waarde (PPV), negatief voorspellende waarde (NPV), en het karakteriseren van patronen van fout-negatieve en fout-positieve beslissingen en hun potentiële implicaties voor klinisch risicomanagement.

Statistische analyse Diagnostische prestatiematen (Se, Sp, PPV, NPV, BA) worden berekend op casusniveau voor Carebot AI MMG en elke radioloog in zowel HSe als HSp. Wilson 95% betrouwbaarheidsintervallen worden gebruikt voor proporties. Gepaarde McNemar-toetsen worden gebruikt om AI en individuele lezers te vergelijken in termen van Se en Sp. Voor gebalanceerde nauwkeurigheid wordt een MRMC bootstrap procedure met 20.000 iteraties gebruikt om de verdeling van de willekeurige lezer te construeren en de waarschijnlijkheid te schatten dat BA_AI groter is dan of gelijk aan BA_willekeurig minus de vooraf gespecificeerde marge. Non-inferioriteit in gevoeligheid wordt beoordeeld met behulp van een Nam-Blackwelder-type framework op discordante paren. Fout-negatieve en fout-positieve casussen worden kwalitatief beoordeeld met nadruk op laesie-opvallendheid, borstdichtheid en typische foutpatronen (bijv. dicht parenchym, laesies nabij de borstspier, goedaardige vasculaire structuren, asymmetrieën).

Risico, ethiek en gegevensbescherming Het onderzoek is niet-interventioneel en volledig retrospectief. Alle mammografie onderzoeken werden verkregen als onderdeel van routinematige zorg vóór het onderzoek, en alle DICOM-gegevens werden onomkeerbaar geanonimiseerd op locatieniveau in overeenstemming met de AVG en toepasselijke nationale wetgeving voor overdracht aan de sponsor. Er vindt geen aanvullende blootstelling aan straling of patiëntcontact plaats en er worden geen bijwerkingen verwacht. Gezien dit ontwerp voldoet het onderzoek niet aan de MDR-definitie van een klinisch onderzoek onder artikel 62 en is het niet onderworpen aan voorafgaande kennisgeving onder artikel 74(1); individuele geïnformeerde toestemming is niet vereist. Resultaten zijn bedoeld om de klinische evaluatie van Carebot AI MMG als beslissingsondersteunend hulpmiddel in georganiseerde mammografie screening te ondersteunen.