Diagnostische Genauigkeit von Carebot AI MMG beim Mammographie-Screening: Multizentrische MRMC-Studie (CARE-MMG-MRMC)

Design und Setting Dies ist eine retrospektive, multizentrische, Multi-Reader-Multi-Case (MRMC)-Studie zur diagnostischen Genauigkeit von Carebot AI MMG, durchgeführt an anonymisierten 2D-Vollfeld-Digitalmammographie (FFDM)-Untersuchungen, die im Rahmen des routinemäßigen Brustkrebsscreenings erworben wurden. Mammogramme wurden von vier Screening-Zentren über einen definierten Zeitraum gesammelt. Für diese Studie wurden keine zusätzlichen Bildgebungen durchgeführt, und es wurde kein Kontakt zu Probanden aufgenommen.

Datenquelle und Population Der Quelldatensatz umfasst 4.729 Screening-Mammographie-Untersuchungen von Frauen im Alter von 32 bis 88 Jahren (Durchschnittsalter etwa 57 Jahre). Es wurden nur 2D-FFDM-Studien mit einem vollständigen Satz von Standardprojektionen (LCC, RCC, LMLO, RMLO) eingeschlossen. Untersuchungen mit unvollständigen Serien, nicht lesbaren oder beschädigten DICOM-Dateien oder fehlenden/in konsistenten Schlüsselmetadaten wurden ausgeschlossen, ebenso wie Tomosynthese (DBT)-Studien, Männer und Frauen unter 18 Jahren. Um eine ausreichende Präzision der Leistungsschätzungen zu gewährleisten, wurde der Datensatz mit zusätzlichen biopsiegesicherten Krebsfällen angereichert. Die endgültige analytische Teilmenge umfasst 222 Untersuchungen, einschließlich 48 maligner und 174 nicht-maligner Studien, mit Vertretung über drei Mammographiegeräte (Hologic Selenia Dimensions, Hologic Lorad Selenia, Fujifilm FDR-3000AWS).

Untersuchungsgerät und Vergleichsgröße Das Untersuchungsgerät ist Carebot AI MMG (Softwareversion 2.9, Deep-Learning-Modelle v2.3), ein eigenständiges KI-System, das 2D-FFDM-Untersuchungen analysiert und eine fallbasierte Klassifizierung in drei Kategorien zusammen mit einem internen Risikoscore ausgibt. Zwei vordefinierte Betriebspunkte werden evaluiert: ein hochsensibler (HSe) Schwellenwert, bei dem sowohl benigne als auch maligne Läsionen als "positiv" behandelt werden (Rule-out-Einstellung), und ein hochspezifischer (HSp) Schwellenwert, bei dem nur maligne Läsionen als "positiv" gezählt werden (Rule-in-Einstellung).

Als menschliche Vergleichsgröße lasen drei erfahrene Radiologen (RAD 1-3) unabhängig voneinander dieselben anonymisierten Studien unter Verwendung eines speziellen DICOM-Viewers, der mit einer Labeling-Anwendung integriert war. Die Radiologen waren gegenüber KI-Ergebnissen, klinischen Informationen und Outcomes verblindet und zeichneten eine fallbasierte Klassifizierung in dieselben drei Kategorien (Negativ/Benigne/Maligne) auf. Für primäre Analysen werden ihre binären Entscheidungen unter Verwendung derselben HSe- und HSp-Regeln abgeleitet. Zusätzlich wird ein "Zufallsleser"-Benchmark für die balancierte Genauigkeit konstruiert, indem in einem Bootstrap-Rahmen (20.000 Iterationen) wiederholt die Entscheidung eines Radiologen pro Fall abgetastet wird.

Referenzstandard Der Referenzstandard wird auf Studienebene festgelegt. Ein Fall wird als "Maligne" gekennzeichnet, wenn eine histopathologische Bestätigung von Brustkrebs aus einer Biopsie vorliegt, die in zeitlichem Zusammenhang mit dem Index-Mammogramm durchgeführt wurde. Ein Fall wird als "Nicht-maligne" gekennzeichnet, wenn ein Konsens zwischen zwei lokalen Radiologen besteht, dass der Befund negativ oder stabil benigne ist, typischerweise bestätigt durch mindestens 2 Jahre Bildgebungs-Follow-up. Tumorstadien (z.B. TNM) werden in der vorliegenden Analyse nicht verwendet. Alle 48 malignen Fälle aus den teilnehmenden Zentren sind in der analytischen Teilmenge enthalten; keine krebspositiven Untersuchungen wurden ausgeschlossen.

Ziele und Endpunkte Die primären Ziele sind: (1) zu demonstrieren, dass die balancierte Genauigkeit (BA) von Carebot AI MMG in beiden Betriebspunkten HSe und HSp mindestens 0,80 beträgt; (2) die Nicht-Unterlegenheit der balancierten Genauigkeit der KI im Vergleich zum MRMC-"Zufallsleser"-Benchmark mit einer Nicht-Unterlegenheitsmarge von 0,05 zu demonstrieren; und (3) die Nicht-Unterlegenheit der Sensitivität (Se) der KI gegenüber jedem der drei Radiologen in beiden HSe und HSp mit einer Nicht-Unterlegenheitsmarge von 0,07 zu demonstrieren. Sekundäre Ziele sind die Beschreibung der Spezifität (Sp), des positiven prädiktiven Wertes (PPV), des negativen prädiktiven Wertes (NPV) sowie die Charakterisierung von Mustern falsch-negativer und falsch-positiver Entscheidungen und ihrer potenziellen Implikationen für das klinische Risikomanagement.

Statistische Analyse Diagnostische Leistungsmetriken (Se, Sp, PPV, NPV, BA) werden auf Fallbasis für Carebot AI MMG und jeden Radiologen in beiden HSe und HSp berechnet. Wilson-95%-Konfidenzintervalle werden für Proportionen verwendet. Gepaarte McNemar-Tests werden verwendet, um KI und einzelne Leser in Bezug auf Se und Sp zu vergleichen. Für die balancierte Genauigkeit wird ein MRMC-Bootstrap-Verfahren mit 20.000 Iterationen verwendet, um die Verteilung des Zufallslesers zu konstruieren und die Wahrscheinlichkeit zu schätzen, dass BA_KI größer oder gleich BA_zufällig minus der vordefinierten Marge ist. Die Nicht-Unterlegenheit in der Sensitivität wird unter Verwendung eines Nam-Blackwelder-ähnlichen Rahmens an diskordanten Paaren bewertet. Falsch-negative und falsch-positive Fälle werden qualitativ überprüft, mit Schwerpunkt auf Läsionsauffälligkeit, Brustdichte und typischen Fehlermustern (z.B. dichtes Parenchym, Läsionen in Nähe des Pektoralmuskels, benigne Gefäßstrukturen, Asymmetrien).

Risiken, Ethik und Datenschutz Die Studie ist nicht-interventionell und vollständig retrospektiv. Alle Mammographie-Untersuchungen wurden als Teil der routinemäßigen Versorgung vor der Studie erworben, und alle DICOM-Daten wurden auf Standortebene gemäß DSGVO und anwendbarem nationalem Recht irreversibel anonymisiert, bevor sie an den Sponsor übermittelt wurden. Es tritt keine zusätzliche Strahlenexposition oder Patientenkontakt auf, und keine unerwünschten Ereignisse werden erwartet. Aufgrund dieses Designs erfüllt die Studie nicht die MDR-Definition einer klinischen Untersuchung gemäß Artikel 62 und unterliegt nicht der vorherigen Anzeigepflicht gemäß Artikel 74(1); eine individuelle Einwilligung nach Aufklärung ist nicht erforderlich. Die Ergebnisse sollen die klinische Bewertung von Carebot AI MMG als Entscheidungsunterstützungswerkzeug im organisierten Mammographie-Screening unterstützen.