Carebot AI MMG:n diagnostinen tarkkuus mammografiatutkimuksessa: Monikeskuksinen MRMC-tutkimus (CARE-MMG-MRMC)

Suunnittelu ja asetelma Tämä on retrospektiivinen, monikeskuksinen, monilukijainen, monitapaus (MRMC) diagnostisen tarkkuuden tutkimus Carebot AI MMG:stä, joka toteutettiin anonymisoitujen 2D täyskenttäisten digitaalisten mammografiakuvien (FFDM) tutkimuksilla, jotka on hankittu osana rutiininomaista rintasyövän seulontaa. Mammografiakuvat kerättiin neljästä seulontakeskuksesta määrätyltä ajanjaksolta. Tätä tutkimusta varten ei suoritettu lisäkuvantamista, eikä yhteyttä otettu tutkittaviin.

Datalähde ja populaatio Lähdeaineisto koostuu 4 729 seulontamammografiatutkimuksesta 32–88-vuotiailta naisilta (keskiarvo noin 57 vuotta). Mukana oli vain 2D FFDM-tutkimukset, joissa oli täydellinen sarja standardiprojektioita (LCC, RCC, LMLO, RMLO). Tutkimukset, joissa oli epätäydellinen sarja, lukukelvottomat tai vioittuneet DICOM-tiedostot tai puuttuvat/epäjohdonmukaiset avainmetadata, jätettiin pois, kuten myös tomosynteesi (DBT) -tutkimukset, miehet ja alle 18-vuotiaat naiset. Varmistaakseen suorituskykyarvioiden riittävän tarkkuuden, aineistoa täydennettiin lisäbiopsialla todistetuilla syövillä. Lopullinen analyyttinen osajoukko koostuu 222 tutkimuksesta, mukaan lukien 48 pahanlaatuista ja 174 ei-pahanlaatuista tutkimusta, edustus kolmella mammografialaitteella (Hologic Selenia Dimensions, Hologic Lorad Selenia, Fujifilm FDR-3000AWS).

Tutkittava laite ja vertailuaine Tutkittava laite on Carebot AI MMG (ohjelmistoversio 2.9, syväoppimismallit v2.3), itsenäinen tekoälyjärjestelmä, joka analysoi 2D FFDM-tutkimuksia ja tuottaa tapauskohtaisen luokituksen kolmeen luokkaan yhdessä sisäisen riskipisteen kanssa. Arvioidaan kaksi ennalta määriteltyä käyttöpistettä: korkean herkkyyden (HSe) kynnys, jossa sekä hyvänlaatuiset että pahanlaatuiset massat käsitellään "positiivisina" (poissulkemisasetus), ja korkean spesifisyyden (HSp) kynnys, jossa vain pahanlaatuiset massat lasketaan "positiivisiksi" (sisällyttämisasetus).

Ihmisvertailuaineena kolme kokeneutta radiologiaa (RAD 1-3) luki itsenäisesti samat anonymisoidut tutkimukset käyttäen omistettua DICOM-katselusovellusta, joka on integroitu merkintäsovellukseen. Radiologit olivat sokeutettuja tekoälyn tuloksiin, kliiniseen tietoon ja lopputuloksiin ja tallensivat tapauskohtaisen luokituksen samoihin kolmeen luokkaan (Negatiivinen/Hyvänlaatuinen/Pahanlaatuinen). Ensisijaisia analyysejä varten heidän binääriset päätöksensä johdetaan käyttäen samoja HSe- ja HSp-sääntöjä. Lisäksi "satunnaisen lukijan" vertailuarvo rakennetaan tasapainoiselle tarkkuudelle ottamalla toistuvasti näyte yhden radiologin päätöksestä per tapaus bootstrap-kehyksessä (20 000 iteraatiota).

Vertailustandardi Vertailustandardi määritetään tutkimustasolla. Tapaus merkitään "Pahanlaatuiseksi", jos on histopatologinen vahvistus rintasyövästä indeksimammografian aikana suoritetusta biopsiasta. Tapaus merkitään "Ei-pahanlaatuiseksi", jos kahden paikallisen radiologin välillä on konsensus siitä, että löydös on negatiivinen tai vakaasti hyvänlaatuinen, tyypillisesti vahvistettuna vähintään 2 vuoden kuvantamisseurannalla. Tumorin vaiheilu (esim. TNM) ei ole käytössä tässä analyysissä. Kaikki 48 pahanlaatuista tapausta osallistuneista keskuksista sisältyvät analyyttiseen osajoukkoon; yhtään syöpäpositiivista tutkimusta ei jätetty pois.

Tavoitteet ja päätepisteet Ensisijaiset tavoitteet ovat: (1) osoittaa, että Carebot AI MMG:n tasapainotettu tarkkuus (BA) on vähintään 0,80 molemmissa HSe- ja HSp-käyttöpisteissä; (2) osoittaa tekoälyn tasapainotetun tarkkuuden ei-heikommuus MRMC "satunnaisen lukijan" vertailuarvoon verrattuna ei-heikommuusmarginaalilla 0,05; ja (3) osoittaa tekoälyn herkkyyden (Se) ei-heikommuus jokaista kolmea radiologia vastaan molemmissa HSe- ja HSp-käyttöpisteissä ei-heikommuusmarginaalilla 0,07. Toissijaiset tavoitteet ovat kuvata spesifisyys (Sp), positiivinen ennustearvo (PPV), negatiivinen ennustearvo (NPV) sekä luonnehtia väärän negatiivisten ja väärän positiivisten päätösten kuvioita ja niiden mahdollisia vaikutuksia kliiniseen riskienhallintaan.

Tilastollinen analyysi Diagnostiset suorituskykymittarit (Se, Sp, PPV, NPV, BA) lasketaan tapauskohtaisesti Carebot AI MMG:lle ja jokaiselle radiologille molemmissa HSe- ja HSp-käyttöpisteissä. Wilsonin 95 % luottamusväliä käytetään osuuksille. Paritellut McNemarin testit käytetään vertaamaan tekoälyä ja yksittäisiä lukijoita herkkyyden ja spesifisyyden suhteen. Tasapainotetulle tarkkuudelle käytetään MRMC bootstrap-menettelyä 20 000 iteraatiolla satunnaisen lukijan jakauman rakentamiseen ja todennäköisyyden arvioimiseen, että BA_AI on suurempi tai yhtä suuri kuin BA_random miinus ennalta määritetty marginaali. Herkkyyden ei-heikommuutta arvioidaan käyttämällä Nam-Blackwelder-tyyppistä kehystä epäjohdonmukaisissa pareissa. Väärän negatiivisia ja väärän positiivisia tapauksia tarkastellaan laadullisesti painottaen lesion näkyvyyttä, rintojen tiheyttä ja tyypillisiä virhekuvioita (esim. tiheä parenkyymi, leesiot lähellä rintalihasta, hyvänlaatuiset verisuonirakenteet, epäsymmetriat).

Riskit, eettisyys ja tietosuoja Tutkimus on ei-interventiivinen ja täysin retrospektiivinen. Kaikki mammografiatutkimukset hankittiin osana rutiininomaista hoitoa ennen tutkimusta, ja kaikki DICOM-tiedot anonymisoitiin peruuttamattomasti paikan tasolla GDPR:n ja sovellettavan kansallisen lainsäädännön mukaisesti ennen siirtoa sponsoriin. Lisäsäteilyaltistusta tai potilaskontaktia ei tapahdu, eikä haittatapahtumia odoteta. Tämän suunnittelun vuoksi tutkimus ei täytä MDR:n määritelmää kliinisestä tutkimuksesta artiklan 62 mukaisesti eikä ole alainen ennakkoilmoitukselle artiklan 74(1) mukaisesti; yksilöllistä tietoon perustuvaa suostumusta ei vaadita. Tulosten on tarkoitus tukea Carebot AI MMG:n kliinistä arviointia päätöksentukityökaluna järjestetyissä mammografiaseulontoissa.