Diagnostická přesnost systému Carebot AI MMG v mamografickém screeningu: Multicentrická studie MRMC (CARE-MMG-MRMC)

Návrh a podmínky Jedná se o retrospektivní, multicentrickou, multi-reader, multi-case (MRMC) diagnostickou studii přesnosti systému Carebot AI MMG, provedenou na anonymizovaných 2D digitálních mamografických (FFDM) vyšetřeních pořízených v rámci rutinního screeningu karcinomu prsu. Mamogramy byly shromážděny ze čtyř screeningových center po definované časové období. Pro účely této studie nebylo provedeno žádné další zobrazování a nebyli kontaktováni žádní subjekty.

Zdroj dat a populace Zdrojová datová sada se skládá z 4 729 screeningových mamografických vyšetření žen ve věku 32 až 88 let (průměr přibližně 57 let). Byly zahrnuty pouze 2D FFDM studie s kompletní sadou standardních projekcí (LCC, RCC, LMLO, RMLO). Vyšetření s neúplnými sériemi, nečitelnými nebo poškozenými soubory DICOM nebo chybějícími/nekonzistentními klíčovými metadaty byla vyloučena, stejně jako studie tomosyntézy (DBT), muži a ženy mladší 18 let. Pro zajištění dostatečné přesnosti odhadů výkonnosti byla datová sada obohacena o další biopsií potvrzené karcinomy. Konečná analytická podmnožina zahrnuje 222 vyšetření, včetně 48 maligních a 174 nemaligních studií, s reprezentací napříč třemi mamografickými zařízeními (Hologic Selenia Dimensions, Hologic Lorad Selenia, Fujifilm FDR-3000AWS).

Zkoumané zařízení a komparátor Zkoumaným zařízením je Carebot AI MMG (verze softwaru 2.9, modely hlubokého učení v2.3), samostatný AI systém, který analyzuje 2D FFDM vyšetření a poskytuje klasifikaci na úrovni případu do tří kategorií spolu s interním skóre rizika. Jsou hodnoceny dva předdefinované operační body: prah vysoké senzitivity (HSe), kde jsou jak benigní, tak maligní masy považovány za "pozitivní" (nastavení vyloučení), a prah vysoké specificity (HSp), kde jsou pouze maligní masy počítány jako "pozitivní" (nastavení zahrnutí).

Jako lidský komparátor tři zkušení radiologové (RAD 1-3) nezávisle četli stejné anonymizované studie pomocí specializovaného prohlížeče DICOM integrovaného s aplikací pro označování. Radiologové byli zaslepeni vůči výstupům AI, klinickým informacím a výsledkům a zaznamenali klasifikaci na úrovni případu do stejných tří kategorií (Negativní/Benigní/Maligní). Pro primární analýzy jsou jejich binární rozhodnutí odvozena pomocí stejných pravidel HSe a HSp. Kromě toho je vytvořen benchmark "náhodného čtenáře" pro vyváženou přesnost opakovaným vzorkováním rozhodnutí jednoho radiologa na případ v bootstrapovém rámci (20 000 iterací).

Referenční standard Referenční standard je stanoven na úrovni studie. Případ je označen jako "Maligní", pokud existuje histopatologické potvrzení karcinomu prsu z biopsie provedené v časové souvislosti s indexovým mamogramem. Případ je označen jako "Nemaligní", pokud existuje shoda mezi dvěma místními radiology, že nález je negativní nebo stabilně benigní, typicky podpořená alespoň 2 roky zobrazovacího sledování. Staging nádoru (např. TNM) není v této analýze použit. Všech 48 maligních případů z účastnických center je zahrnuto v analytické podmnožině; žádná vyšetření s pozitivním nálezem karcinomu nebyla vyloučena.

Cíle a koncové body Primární cíle jsou: (1) prokázat, že vyvážená přesnost (BA) systému Carebot AI MMG je alespoň 0,80 v obou operačních bodech HSe a HSp; (2) prokázat nehorší vyváženou přesnost AI ve srovnání s benchmarkem MRMC "náhodného čtenáře" s mezí nehorší 0,05; a (3) prokázat nehorší senzitivitu (Se) AI ve srovnání s každým ze tří radiologů v obou HSe a HSp, s mezí nehorší 0,07. Sekundární cíle jsou popsat specificitu (Sp), pozitivní prediktivní hodnotu (PPV), negativní prediktivní hodnotu (NPV) a charakterizovat vzorce falešně negativních a falešně pozitivních rozhodnutí a jejich potenciální důsledky pro klinické řízení rizik.

Statistická analýza Diagnostické výkonnostní metriky (Se, Sp, PPV, NPV, BA) jsou vypočítány na úrovni případu pro Carebot AI MMG a každého radiologa v obou HSe a HSp. Pro proporce jsou použity Wilsonovy 95% intervaly spolehlivosti. Pro porovnání AI a jednotlivých čtenářů v termínech Se a Sp jsou použity párové McNemarovy testy. Pro vyváženou přesnost je použita MRMC bootstrapová procedura s 20 000 iteracemi k sestrojení distribuce náhodného čtenáře a odhadu pravděpodobnosti, že BA_AI je větší nebo rovno BA_random minus předem stanovená mez. Nehorší v senzitivitě je hodnoceno pomocí rámce typu Nam-Blackwelder na diskordantních párech. Falešně negativní a falešně pozitivní případy jsou kvalitativně přezkoumány s důrazem na nápadnost léze, hustotu prsu a typické vzorce chyb (např. hustý parenchym, léze v blízkosti svalu pectoralis, benigní vaskulární struktury, asymetrie).

Rizika, etika a ochrana dat Studie je neintervenční a zcela retrospektivní. Všechna mamografická vyšetření byla získána jako součást rutinní péče před studií a všechna DICOM data byla na úrovni místa nevratně anonymizována v souladu s GDPR a platným národním právem před převodem na zadavatele. Nedochází k žádné další expozici záření ani kontaktu s pacienty a neočekávají se žádné nežádoucí události. Vzhledem k tomuto návrhu studie nesplňuje definici klinického hodnocení podle článku 62 MDR a nepodléhá předchozímu oznámení podle článku 74(1); individuální informovaný souhlas není vyžadován. Výsledky jsou určeny k podpoře klinického hodnocení systému Carebot AI MMG jako nástroje pro podporu rozhodování v organizovaném mamografickém screeningu.