Zkoumání potenciálu umělé inteligence pro dřívější detekci rakoviny prsu: Retrospektivní studie s více čtenáři na základě interpretace mamografie s asistencí AI (EARLIEST-AI) (EARLIEST-AI)

PODROBNÉ SHRNUTÍ A ODŮVODNĚNÍ NAVRHOVANÉHO VÝZKUMU Profylaktické mamografie se rutinně provádějí u asymptomatických žen každé dva roky. Během preventivního mamografického vyšetření se u každé ženy pořídí čtyři snímky: dva v kraniokaudální (CC) projekci a dva v mediolaterální šikmé (MLO) projekci. Při každém mamografickém vyšetření se používá systém BI-RADS (Breast Imaging Reporting and Data System).

V každodenní klinické praxi na Mamografické klinice (AS Mammograaf) se k hodnocení mamografických vyšetření používá systém BI-RADS.

Skóre BI-RADS 1 se přiřazuje mamogramům bez patologických změn. Skóre BI-RADS 2 označuje benigní změny na mamogramech.

V případě přítomnosti suspektních nebo maligních změn se přiřazuje skóre BI-RADS 3, BI-RADS 4 a/nebo BI-RADS 5.

BI-RADS 6 je histopatologicky potvrzený karcinom prsu. Protokol pro prohlížení mamogramů používaný v každodenní klinické praxi na Mamografické klinice je uveden níže.

Screeningové mamogramy jsou vždy nezávisle hodnoceny dvěma radiology. Jinými slovy, rutinní hodnocení screeningových mamogramů se provádí pomocí protokolu nezávislého dvojího čtení. Pokud dva radiologové nezávisle vyhodnotí mamogram a přiřadí mu hodnocení BI-RADS 1 a/nebo BI-RADS 2, považuje se to za slepý konsenzus, který znamená, že pacientka nepotřebuje další vyšetření – tj. na mamogramu nejsou žádné nejednoznačné změny nebo změny naznačující malignitu. V případech BI-RADS 3, 4 a 5 se používá nezaslepený konsenzuální přístup, kdy radiologové společně přezkoumají mamogramy na základě stávající diagnózy a diskuse případu s kolegy, aby dosáhli shody. Každodenní práce hlavního řešitele i zkušených čtenářů účastnících se studie zahrnuje hodnocení předchozích mamogramů, analýzu složitých případů a detekci intervalových karcinomů. K omezení subjektivního hodnocení se používají speciální strategie prohlížení.

Jednou z takových metod je tzv. slepé hodnocení, při kterém se předchozí mamogramy přezkoumávají bez znalosti umístění patologické oblasti, aby se předešlo efektu zpětného pohledu (retrospektivnímu zkreslení).

Pro dosažení statisticky významných rozdílů musí být kohorta dostatečně velká, aniž by to pro čtenáře představovalo nadměrnou zátěž.

Obvyklý pracovní proces radiologů prsu na Mamografické klinice vypadá takto.

Obvyklé pracovní tempo zkušených radiologů jim umožňuje vyhodnotit až 500 mamogramů denně bez snížení kvality práce. Pro méně zkušené radiology je optimální pracovní zátěž do 200 mamogramů denně.

Používání umělé inteligence v každodenní práci vyžaduje, aby si na ni radiolog zvykl, měl dovednosti a rozuměl procesu.

Během 1,5 roku zkušeností s umělou inteligencí byly identifikovány tři významné aspekty.

1. Lidské kognitivní chyby V radiologii mohou při práci se systémem umělé inteligence nastat dvě hlavní kognitivní chyby: konfirmační zkreslení a ukotvení. Projev těchto chyb závisí na tom, zda se radiolog nejprve podívá na mamogramy a poté na označení umělé inteligence, nebo začne opačně – od označení umělé inteligence.

   Proces přezkoumávání sestaveného souboru dat je strukturován tak, aby umožnil posoudit, do jaké míry se takové chyby projevují v rutinní praxi a který scénář čtení by mohl být pro každodenní práci nejvhodnější.

2. Podmíněné falešně pozitivní označení mamogramů umělou inteligencí Při práci se systémem umělé inteligence byla pozorována falešně pozitivní označení, když systém přiřadil označení s vysokým nebo středním rizikem mamogramům, které zkušení radiologové klasifikovali jako BI-RADS 1 nebo BI-RADS 2.

   Vzhledem k tomu, že konečné rozhodnutí v současnosti vždy zůstává na radiologovi, označení umělé inteligence jsou často ignorována, pokud nejsou v souladu s odborným hodnocením mamogramů.

   V roce 2024 byla citlivost umělé inteligence Hera na Mamografické klinice 94,5 %: během screeningu bylo diagnostikováno celkem 138 karcinomů, z nichž 131 bylo také označeno umělou inteligencí Hera.

   Specifitu AI Hera lze hodnotit dvěma způsoby:

   • Možnost 1: přibližně po dvou letech retrospektivní analýzou výsledků z roku 2024.
   • Možnost 2: analýzou souboru dat vytvořeného v rámci této studie, který zahrnuje jak mamogramy BI-RADS 3, BI-RADS 4 a BI-RADS 5, tak mamogramy bez viditelné patologie, jejichž hodnocení BI-RADS 1 a/nebo BI-RADS 2 bylo potvrzeno při opakovaných screeningech.

   Druhá možnost je výhodnější, protože může poskytnout lepší pochopení toho, jak v blízké budoucnosti řešit tzv. falešně pozitivní označení. V současnosti je postoj k nim subjektivní a do značné míry závisí na osobnosti a interpretačním stylu radiologa.

3. Technická kvalita mamogramů. V každodenní praxi bylo pozorováno, že parametry jako poloha prsu a tlak aplikovaný během pořizování mamogramu ovlivňují jak kvalitu obrazu, tak výkon radiologa a AI. Tato studie poskytne příležitost objektivně posoudit vztahy mezi technickými parametry a citlivostí a specifitou AI.

   Při plánování této studie byly formulovány tři hypotézy.

   • Hypotéza 1: Použití podpory AI umožňuje diagnostikovat rakovinu prsu v dřívějším stadiu ve srovnání se současnou praxí založenou na úsudku radiologů.
   • Hypotéza 2: Postoj radiologů k doporučením AI závisí na jejich zkušenostech.
   • Hypotéza 3: Technické parametry mamogramů významně ovlivňují specifitu a citlivost AI.

   Doba trvání studie Tato studie má dvoufázový design, zahrnující více čtenářů a více čtení. Mezi oběma fázemi je plánována pauza.

   Harmonogram studie je následující:

   • Počáteční sběr dat: 2 měsíce
   • Čtecí sezení: 3 × 2 měsíce
   • Přestávka pro čtenáře: 1 měsíc
   • Statistická analýza a formalizace závěrů: 3 měsíce Celková očekávaná doba trvání studie je tedy 12 měsíců. Předpokládá se, že činnosti studie začnou v říjnu 2025 a potrvají 12 měsíců.

   Osobní údaje budou smazány přibližně 1. 1. 2026, poté budou pro další vědeckou analýzu uchovávány pouze plně anonymizované údaje.

   PODROBNÝ POPIS SUBJEKTŮ A ZPŮSOBU JEJICH NÁBORU

   1. Retrospektivní studie, v jejímž rámci bude sestaven anonymní soubor dat obsahující mamogramy.

      Všechny mamogramy byly provedeny na Mamografické klinice. Datový soubor se skládá z 1 000 mamografických sad, každá sada obsahuje čtyři snímky jedné ženy: kraniokaudální (CC) a mediolaterální šikmé (MLO) snímky pravého a levého prsu.

      • sestavit seznam mamogramů souvisejících s případy BI-RADS 6, u kterých jsou před anonymizací zadány následující údaje: identifikační kód pacienta a věk, data mamogramů souvisejících s diagnózou, typ rakoviny (invazivní duktální karcinom, invazivní lobulární karcinom, duktální karcinom in situ, stav receptorů pro estrogen (ER), progesteron (PR), receptor 2 pro lidský epidermální růstový faktor (HER 2) a index proliferace Ki-67 z biopsie, skóre BI-RADS mamogramů.
      • sestavit seznam mamogramů nesouvisejících s případy BI-RADS 6, u kterých jsou před anonymizací zadány následující údaje: identifikační kód pacienta a věk, data mamogramů zahrnutých do datového souboru, skóre BI-RADS mamogramů.
      • sestavit radiologický zlatý standard sestávající z případů BI-RADS 6. V tomto výzkumu se kromě skóre BI-RADS požaduje také oblast zájmu (ROI) pro možná podezření. Pro provedení takového úkolu se předpokládá, že přezkoumání souboru 100 mamogramů zabere zkušenému radiologovi přibližně 30 minut, zatímco u méně zkušeného radiologa se odhaduje 60–90 minut.

      Tato zátěž nezpůsobuje významné překážky nebo narušení každodenního pracovního postupu.

      Pro mamogramy bez karcinomu byly zahrnuty pouze případy s negativním hodnocením (BI-RADS 1 nebo 2) potvrzeným při následných screeningech.

      Pro každou mamografickou studii zahrnutou do datového souboru je v protokolu zaznamenáno odpovídající hodnocení BI-RADS stanovené během klinické práce, aby byla zajištěna transparentnost a spolehlivost studie.

      Statistická významnost je vypočítána na základě očekávaného rozdílu v citlivosti mezi referenčním testem (čtení bez podpory AI) a hodnoceným testem (čtení s podporou AI). Odhadovaná citlivost referenčního testu je 0,85 a citlivost hodnoceného testu je 0,90. K odhadu velikosti vzorku se používá dvouvýběrový Z-test pro podíly. Požadovaná statistická síla je p = 0,90 a hladina významnosti α = 0,05. Na základě těchto parametrů byla velikost vzorku vypočtena na 914, která bude během studie zaokrouhlena na 1 000 případů.

      Výpočet založený na McNemarově testu (90% oproti 87% citlivost, α = 0,05, síla 0,90, prevalence ~30 %) ukázal minimální velikost vzorku 876, která byla konzervativně zaokrouhlena na 1 000, aby se předešlo riziku nízké statistické síly.

      Z tohoto důvodu byl vytvořen soubor dat obsahující 1 000 mamogramů. V této studii se zvažuje možnost vyhledat názor nezávislého biostatistika.

   2. Odborné zkušenosti čtenářů

   V rámci této studie je pojem expert definován následovně: radiolog, který denně pracuje v oblasti mamární radiologie, včetně hodnocení mamogramů, provádění ultrazvukových vyšetření prsu a odběru biopsií pod ultrazvukovou a/nebo magnetickou rezonancí a také popisu MRI prsu. Expertem se rozumí odborník, který:

   • má alespoň 10 let klinické praxe v mamární radiologii,
   • ročně přečte alespoň 12 000 mamografických vyšetření,
   • má každodenní zkušenosti s používáním umělé inteligence alespoň 12 měsíců.

   Hlavní řešitel je radiolog specializující se na prsa s přibližně 20 lety zkušeností s hodnocením mamografických vyšetření, který za posledních pět let vyhodnotil více než 77 000 mamografických vyšetření, což v průměru činí více než 15 000 vyšetření ročně. Kromě toho hlavní řešitel provádí ultrazvuková vyšetření prsu, odebírá biopsie pod ultrazvukovým i MRI vedením a popisuje vyšetření prsu magnetickou rezonancí. Hlavní řešitel má rovněž 18 měsíců každodenní praxe v používání umělé inteligence při interpretaci mamografie. Hlavní řešitel navíc rutinně hodnotí kvalitu polohování mamografických vyšetření již nejméně sedm let.

   Hlavní řešitel bude působit jako expert při sestavování datového souboru a validaci zlatého standardu.

   • Čtenář 1: má přibližně 30 let zkušeností s hodnocením mamografických studií, za posledních pět let hodnotil více než 76 000 mamografických studií, což v průměru činí více než 15 000 studií ročně.
   • Čtenář 2: má přibližně 10 let zkušeností s hodnocením mamografických studií, za posledních pět let hodnotil více než 31 000 mamografických studií, což v průměru činí více než 6 000 studií ročně.
   • Čtenář 3: má přibližně 1 rok zkušeností s hodnocením mamografických studií, za poslední rok hodnotil 4 324 mamografických studií.
   • Čtenář 4: má méně než 1 rok zkušeností s hodnocením mamografických studií, za poslední rok hodnotil 2 963 mamografických studií.
   • Čtenář 5: zkušenosti s hodnocením mamografických studií jsou méně než 1 rok, za poslední rok bylo hodnoceno 2 242 mamografických studií.

   Různá úroveň zkušeností čtenářů je při provádění této studie důležitá. To umožňuje posoudit vliv interpretace nálezů navržené umělou inteligencí na radiology s různou úrovní zkušeností a prozkoumat, zda to potvrzuje nebo vyvrací druhou hypotézu.

   PODROBNÝ POPIS METODIKY STUDIE Strategie, proces a analýza dat datového souboru jsou záměrně skryty před čtenáři, aby se zachovala nezávislost hodnocení a zabránilo se kognitivnímu zkreslení. Celá metodika studie je zdokumentována v protokolu (oddíl 6, oddíl 7, oddíl 12) a příslušné informace jsou účastníkům zpřístupněny po skončení fází prohlížení.

   Takový soubor dat umožňuje ve scénáři, kde je k dispozici pouze jedno mamografické vyšetření – bez klinických informací a předchozích studií – posoudit schopnost čtenářů a AI detekovat rakovinu prsu za podmínek omezených informací.

   Na základě informací uvedených v oddíle 6.2.1 protokolu umožňuje konfigurace tohoto souboru dat získat odpověď na první hypotézu.

   Takový soubor dat umožňuje poskytnout kvantitativní odpovědi na následující otázky, čímž je zajištěno, že druhá a třetí hypotéza mohou být řešeny.

   1. Jaká je specifita a citlivost systému CAD založeného na AI?
   2. Jaká je specifita a citlivost lidských čtenářů?
   3. Ovlivňují signály CAD výkon lidských čtenářů?
   4. Závisí výkon lidských čtenářů na tom, kdy jsou signály CAD prezentovány – na začátku prohlížení nebo po počátečním hodnocení čtenářem?
   5. Jaké faktory ovlivňují diagnostický výkon lidských čtenářů a systému CAD založeného na AI?

   Konkrétně:

   • Faktory související se čtenářem: úroveň zkušeností
   • Faktory související s pacientem: věk, hustota prsní tkáně
   • Charakterizace maligního procesu: typ nádoru, grade, velikost, viditelnost pouze v jedné nebo obou projekcích (CC a/nebo MLO)
   • Technické parametry mamogramů: kompresní síla, kompresní tlak, správné polohování

   POPIS KOORDINUJÍCÍHO VÝZKUMNÍKA NEBO ODPOVĚDNÉHO VÝZKUMNÍKA Z HLEDISKA ETICKÝCH ASPEKTŮ A OCHRANY OSOBNÍCH ÚDAJŮ STUDIE

   1. Etické aspekty Studii provádí Mamografická klinika (reg. č. 10233840) a HERA-MI (Siret: 828871699).

      HERA-MI je výrobce a vývojář umělé inteligence; Mamografická klinika je poskytovatelem zdravotní péče a každodenním uživatelem umělé inteligence HERA-MI ve své praxi. Mamografická klinika je od roku 2024 referenčním centrem HERA-MI. Mezi stranami zapojenými do tohoto výzkumu neprobíhají žádné finanční transakce.

      Mamografická klinika a HERA-MI připraví a podepíší prohlášení o vyloučení střetu zájmů, aby byla zajištěna transparentnost a spolehlivost studie.

      Po dokončení studie se prohloubí znalosti o vlastním výkonu a zlepší se pochopení limitů spolehlivosti nástroje umělé inteligence.

      Studie používá pouze údaje shromážděné v rámci rutinní praxe a subjekty nebudou za účelem provádění výzkumu kontaktovány. Účast ve studii neovlivní život pacientky, léčbu ani sledování. Studie nebude ukládat subjektům ani jejich blízkým žádné další povinnosti.

      Účast ve studii nepřinese subjektům ani jejich blízkým žádný přímý prospěch.

      Nepřímý prospěch pro subjekty může vzniknout optimalizací péče o pacienty, podpořenou zveřejněním a diskusí výsledků studie.

      Plánovaná studie hodlá zpracovávat osobní údaje bez souhlasu subjektu.

      Informování subjektu údajů není odůvodněné, protože:

      - Zpracování údajů nepoškozuje zájmy subjektu údajů. Výstupem zpracování údajů je popisné zobecnění dat.

      - Žádost o povolení by znamenala nepřiměřeně vysoké náklady na zdroje. Získání informovaného souhlasu by bylo logisticky složité.

      Existující převažující veřejný zájem. Rakovina prsu je nejčastější maligní nádor u žen a jedna z hlavních příčin morbidity a mortality. Časná detekce pomocí mamografie výrazně zlepšuje výsledky léčby. Mamografická klinika je dobře známé diagnostické centrum prsu v Estonsku, kde se provádějí screeningové i diagnostické studie pomocí moderních metod a technologií. Provedení této studie je důležité pro hodnocení kvality současných pracovních metod a analýzu dopadu přidané hodnoty umělé inteligence v radiologickém rozhodování. Zveřejnění výsledků výzkumu širší lékařské veřejnosti pomůže zvýšit povědomí o moderních možnostech diagnostiky prsu. Studie a následné analýzy mají potenciál významně přispět k rozvoji pracovních postupů a technologií v mamární radiologii.

      Vzhledem k tomu, že data jsou ve fázi hodnocení mamogramů anonymní, pokud během výzkumu umělá inteligence přidá označení vysokého nebo středního rizika malignity na mamogramy, které nesouvisejí s případy rakoviny zahrnutými do datového souboru, a/nebo čtenáři provedou hodnocení BI-RADS ≥ 3, nemůže to ovlivnit hodnocení udělená mamogramům v reálné klinické práci ani léčbu pacientek.

   2. Aspekty ochrany osobních údajů V plánovaném výzkumu je nezbytné pracovat s osobními údaji ve fázi vytváření databáze. Pro vytvoření databáze je nutné spojit data vytvořená v různých časech z různých zdrojů dat: papírový archiv Mamografické kliniky (kódy osobní identifikace pacientek BI-RADS 6, výsledky biopsií), systém pro archivaci a komunikaci obrazu (PACS) Visage Imaging Mamografické kliniky pro mamogramy, informační systém radiologie (RIS) Mamografické kliniky Lisa (kódy osobní identifikace pacientek BI-RADS 6, výsledky biopsií), RIS Mamografické kliniky Optomed (kódy osobní identifikace pacientek BI-RADS 1 a/nebo BI-RADS 2), u kterých je vyžadováno použití osobního identifikačního kódu. Databázi vytváří a ukládá na bezpečném serveru Mamografické kliniky odpovědný výzkumník, který má k výše uvedeným zdrojům dat přístup na základě svých pracovních povinností na základě svého průkazu totožnosti.

   Sady jednotlivých případů rakoviny jsou označeny způsobem přesně popsaným v oddíle 11 protokolu studie.

   1. Pro zajištění potřebné důvěrnosti čtenářů účastnících se studie nejsou určité údaje, které by mohly prozradit nadměrné informace, zahrnuty do žádosti, ale jsou uvedeny samostatně v oddíle 12 protokolu studie.
   2. Pro zajištění potřebné důvěrnosti čtenářů účastnících se studie nejsou určité údaje, které by mohly prozradit nadměrné informace, zahrnuty do žádosti, ale jsou uvedeny samostatně v oddíle 12 protokolu studie.
   3. Pro zajištění potřebné důvěrnosti čtenářů účastnících se studie nejsou určité údaje, které by mohly prozradit nadměrné informace, zahrnuty do žádosti, ale jsou uvedeny samostatně v oddíle 12 protokolu studie.
   4. Označení neumožňuje identifikaci subjektu. K vytvoření označení je nutné znát počet případů rakoviny, počet sad a data jejich provedení. Označení provádí HERA-MI.
   5. Odpovědný výzkumník propojí označení s vytvořenou databází a smaže z databáze osobní identifikační kódy použité při jejím vytvoření (nejpozději dva měsíce po obdržení povolení k provedení studie, pokud předběžná práce začne v říjnu 2025, přibližné datum smazání údajů je 1. leden 2026). Označená databáze se tak stane anonymní; další výzkumné činnosti budou prováděny s anonymními daty.
   6. Mamogramy nesouvisející s případy rakoviny budou označeny náhodným pořadím pomocí kombinací písmen a čísel.
   7. Vymezení nálezů na mamogramech čtenáři bude jasně označeno v souladu s principy klasifikace BI-RADS.

   Označená databáze bude uložena na bezpečném serveru Mamografické kliniky. Z mamogramů studie budou v PACS vytvořeny sbírky, které jsou čtenářům přístupné na základě osobních hesel a se samostatným přístupem k umělé inteligenci. Přístup a spolupráce mezi čtenářem a umělou inteligencí se neliší od běžně používaných. Mamogramy jsou doprovázeny informací (věk v letech), která se běžně používá v procesu hodnocení. Na konci každé fáze prohlížení je na serveru Mamografické kliniky vygenerována tabulka Excel obsahující hodnocení.

   Hlavní označení, související označení, data a klinické informace u případů rakoviny jsou uloženy v tabulce Excel, která je přístupná pouze odpovědnému řešiteli.

   Analýzu dat provádí HERA-MI. Analýza dat probíhá na serveru Mamografické kliniky. Výsledky studie jsou prezentovány shrnující formou.

   Anonymní data použitá ve studii jsou na serveru Mamografické kliniky uložena pro účely studie na dobu neurčitou.

   Sběr a správa dat

   1. Zdroje dat

      - PACS – digitální zobrazovací materiály (mamogramy)

      • Institucionální papírový archiv – kódy osobní identifikace, výsledky biopsií a popisy radiologů.
      • RIS – kódy osobní identifikace pacientek, výsledky biopsií a popisy radiologů v případech, kdy papírová data nejsou k dispozici.

   2. Shromážděná data - Demografické údaje: věk. - Obrazová data: skóre BI-RADS, umístění nálezů; tvar mas, okraje, hustota, přítomnost kalcifikací; asymetrie, architektonické deformity.

      • Patologie: rok detekce rakoviny, typ nádoru (invazivní duktální karcinom (IDC), invazivní lobulární karcinom (ILC), duktální karcinom in situ (DCIS) atd.), receptorový status (ER, PR, HER2), grade, velikost nádoru.
      • Kvalita obrazu (mamografický přístroj, kompresní síla a kompresní tlak, kvalita polohování)
   3. Nakládání s daty Všechna data shromážděná během studie budou zpracována v souladu s platnými požadavky na ochranu údajů a zásadami stanovenými v protokolu studie.

   Data budou zpracována následovně:

   (1) Osobní údaje budou před analýzou odstraněny anonymizací. (2) Pro každý případ a každého čtenáře bude vytvořen jedinečný identifikátor, který umožní zpětnou vysledovatelnost dat bez identifikace jednotlivců.

   (3) Surová data – včetně mamogramů, označení čtenářů a výstupů AI – budou bezpečně uložena na serveru Mamografické kliniky. K datům bude mít přístup pouze odpovědný řešitel.

   (4) Data pro analýzu budou exportována ve strukturovaném formátu (např. Excel, CSV, DICOM metadata), který umožňuje statistické zpracování a kontrolu kvality.

   (5) Všechny změny související se sběrem nebo zpracováním dat budou zdokumentovány pro zajištění auditovatelnosti.

   Nastavení softwaru

   1. Software pro prohlížení mamogramů Studie používá software Visage Imaging PACS pro prohlížení mamogramů a pro vytváření a ukládání označení ROI.
   2. Randomizační a anonymizační programy Randomizační a anonymizační programy pro studii poskytla HERA-MI.
   3. CAD software Software použitý v tomto protokolu je software Breast-SlimView CAD od HERA-MI.

   Software generuje signály CAD ve formě masek: oblasti zájmu (ROI) uložené umělou inteligencí jsou umístěny na masku podobnou struktuře mamogramu.

   Výsledky CAD jsou integrovány do rozbalovacího protokolu prohlížecího systému.