Tekoälyn mahdollisuuksien tutkiminen rintasyövän varhaiseen havaitsemiseen: Retrospektiivinen monilukijatutkimus tekoälyavusteisesta mammografiatulkinnasta (EARLIEST-AI) (EARLIEST-AI)

YKSITYISKOHTAINEN YHTEENVETO JA PERUSTELUT EHDOTETULLE TUTKIMUKSELLE: Ennaltaehkäiseviä mammografiatutkimuksia tehdään rutiininomaisesti oireettomille naisille joka toinen vuosi.

Ennaltaehkäisevässä mammografiatutkimuksessa otetaan neljä kuvaa jokaiselta naiselta: kaksi kraniokaudaali- (KK) projektiossa ja kaksi mediolateraalissa viistossa (MLV) projektiossa.

Jokaisen mammografiatutkimuksen arvioinnissa käytetään Breast Imaging Reporting and Data System (BI-RADS) -luokitusta.

Radiologiakliinik Mammograaf (AS Mammograaf) päivittäisessä kliinisessä työssä BI-RADS-järjestelmää käytetään mammografiatutkimusten arviointiin.

BI-RADS 1 -pistemäärä annetaan mammogrammeille, joissa ei ole patologisia muutoksia.

BI-RADS 2 -pistemäärä tarkoittaa hyvänlaatuisia muutoksia mammogrammeissa.

Epäilyttävien tai pahanlaatuisten muutosten yhteydessä annetaan pistemäärät BI-RADS 3, BI-RADS 4 ja/tai BI-RADS 5.

BI-RADS 6 on histopatologisesti vahvistettu rintasyöpä.

Radiologiakliinik Mammograafin päivittäisessä kliinisessä työssä käytetty mammogrammien katseluprotokolla on esitetty alla.

Seulontamammogrammit arvioi aina kaksi radiologia itsenäisesti.

Toisin sanoen seulontamammogrammien rutiiniarviointi suoritetaan itsenäisen kaksoislukeman protokollalla.

Jos kaksi radiologia arvioi mammogrammin itsenäisesti ja antaa sille BI-RADS 1 ja/tai BI-RADS 2 -luokituksen, tätä pidetään sokeana konsensuksena, mikä osoittaa, että potilas ei tarvitse lisätutkimuksia – toisin sanoen mammogrammissa ei ole epäselviä muutoksia tai pahanlaatuisuuteen viittaavia muutoksia.

BI-RADS 3, 4 ja 5 -tapauksissa käytetään paljastettua konsensuslukemaa, jolloin radiologit käyvät mammogrammit läpi yhdessä, perustuen olemassa olevaan diagnoosiin ja tapauksen keskusteluun kollegojen kanssa konsensuksen saavuttamiseksi.

Sekä päätutkijan että tutkimukseen osallistuvien kokeneiden lukijoiden päivittäinen työ sisältää aiempien mammogrammien arviointia, monimutkaisten tapausten analysointia ja välisyöpien havaitsemista.

Arviointiprosessin subjektiivisuuden vähentämiseksi käytetään erityisiä katselustrategioita.

Yksi tällainen menetelmä on niin kutsuttu sokea tarkastelu, jossa aiempia mammogrammeja tarkastellaan tietämättä patologisen alueen sijaintia takautuvaksi harhaksi kutsutun vaikutuksen välttämiseksi.

Jotta saavutettaisiin tilastollisesti merkitseviä eroja, kohortin on oltava riittävän suuri ilman, että lukijoille aiheutuu liiallista kuormitusta.

Radiologiakliinik Mammograafin rintaradiologien normaali työprosessi näyttää tältä.

Kokenetten radiologien normaali työvauhti mahdollistaa jopa 500 mammogrammin arvioinnin päivässä laadun heikkenemättä.

Vähemmän kokeneille radiologeille optimaalinen työmäärä on enintään 200 mammogrammia päivässä.

Tekoälyn käyttö päivittäisessä työssä vaatii radiologilta siihen tottumista, taitoja ja prosessin ymmärtämistä.

Kolme merkittävää näkökohtaa tunnistettiin 1,5 vuoden kokemuksen perusteella tekoälystä.

1. Ihmisen kognitiiviset virheet Radiologiassa voi ilmetä kaksi pääasiallista kognitiivista virhettä työskenneltäessä tekoälyjärjestelmän kanssa: vahvistusharha ja ankkurointi.

   Näiden virheiden ilmeneminen riippuu siitä, tarkasteleeko radiologi ensin mammogrammeja ja vasta sitten tekoälyn merkintöjä vai aloittaako hän toisin päin – tekoälyn merkinnöistä.

   Kootun tietoaineiston tarkasteluprosessi on järjestetty niin, että voidaan arvioida, missä määrin tällaisia virheitä esiintyy rutiinityössä ja mikä lukuskenaario voisi olla sopivin päivittäiseen työhön.

2. Ehdolliset väärät positiiviset merkinnät mammogrammeissa tekoälyn toimesta Työskenneltäessä tekoälyjärjestelmän kanssa havaittiin vääriä positiivisia merkintöjä, kun järjestelmä antoi korkean tai keskiriskin merkinnät kokeneiden radiologien luokittelemille BI-RADS 1 tai BI-RADS 2 mammogrammeille.

   Koska lopullinen päätös on tällä hetkellä aina radiologilla, tekoälyn merkinnät usein jätetään huomiotta, kun ne eivät vastaa mammogrammien ammatillista arviota.

   Vuonna 2024 Hera-tekoälyn herkkyys Radiologiakliinik Mammograafissa oli 94,5 %: seulonnassa todettiin yhteensä 138 syöpää, joista 131 oli myös Hera-tekoälyn merkitsemiä.

   Hera-tekoälyn tarkkuus voitaisiin arvioida kahdella tavalla:

   • Vaihtoehto 1: noin kahden vuoden kuluttua, analysoimalla vuoden 2024 tuloksia takautuvasti.
   • Vaihtoehto 2: analysoimalla tämän tutkimuksen puitteissa luotu aineisto, joka sisältää sekä BI-RADS 3, BI-RADS 4 ja BI-RADS 5 mammogrammit että mammogrammit ilman näkyvää patologiaa, joiden BI-RADS 1 ja/tai BI-RADS 2 -arviointi vahvistettiin toistuvissa seulonnoissa.

   Jälkimmäinen vaihtoehto on suositeltavampi, koska se saattaa antaa paremman käsityksen siitä, miten niin sanottuihin vääriin positiivisiin merkintöihin tulisi suhtautua lähitulevaisuudessa.

   Tällä hetkellä suhtautuminen niihin on subjektiivista ja riippuu pitkälti radiologin persoonallisuudesta ja tulkintatyylistä.

3. Mammogrammien tekninen laatu.

   Päivittäisessä työssä on havaittu, että parametrit, kuten rinnan asettelu ja mammografian aikana käytetty puristuspaine, vaikuttavat sekä kuvan laatuun että radiologin ja tekoälyn suorituskykyyn.

   Tämä tutkimus tarjoaa mahdollisuuden arvioida objektiivisesti teknisten parametrien ja tekoälyn herkkyyden ja tarkkuuden välisiä suhteita.

   Tätä tutkimusta suunniteltaessa muotoiltiin kolme hypoteesia.

   • Hypoteesi 1: Tekoälytuen käyttö mahdollistaa rintasyövän diagnosoinnin aikaisemmassa vaiheessa verrattuna nykyiseen radiologien arvioon perustuvaan käytäntöön.
   • Hypoteesi 2: Radiologien suhtautuminen tekoälyn suosituksiin riippuu heidän kokemuksestaan.
   • Hypoteesi 3: Mammogrammien tekniset parametrit vaikuttavat merkittävästi tekoälyn tarkkuuteen ja herkkyyteen.

   TUTKIMUKSEN AIKATAULU: Tämä tutkimus on kaksivaiheinen ja siihen osallistuu useita lukijoita ja lukukertoja.

   Vaiheiden välissä on suunniteltu taukojakso.

   Tutkimuksen aikataulu on seuraava:

   • Alkutietojen keruu: 2 kuukautta
   • Lukukerrat: 3 × 2 kuukautta
   • Lukijoiden taukojakso: 1 kuukausi
   • Tilastollinen analyysi ja johtopäätösten muotoilu: 3 kuukautta

   Näin ollen tutkimuksen odotettu kokonaiskesto on 12 kuukautta.

   Tutkimustoimenpiteiden on tarkoitus alkaa lokakuussa 2025 ja ne kestävät 12 kuukautta.

   Henkilötiedot poistetaan noin 1.1.2026, minkä jälkeen vain täysin anonymisoidut tiedot säilytetään tieteellistä analyysiä varten.

   YKSITYISKOHTAINEN KUVAUS TUTKIMUSHENKILÖISTÄ JA HEIDÄN REKRYTOINTIMENETELMÄSTÄÄN

   1. Takautuva tutkimus, jonka puitteissa kootaan anonyymi mammogrammeja sisältävä aineisto.

      Kaikki mammogrammit on tehty Radiologiakliinik Mammograafissa.

      Aineisto koostuu 1000 mammografiakuvasarjasta, joista jokainen sisältää yhden naisen neljä kuvaa: oikean ja vasemman rinnan kraniokaudaali- (KK) ja mediolateraaliset vinokuvat (MLV).

      • Koota luettelo BI-RADS 6 -tapauksiin liittyvistä mammogrammeista, johon ennen anonymisointia syötetään seuraavat tiedot: potilaan henkilötunniste ja ikä, diagnoosiin liittyvien mammogrammien päivämäärät, syövän tyyppi (invasiivinen duktaali karsinooma, invasiivinen lobulaari karsinooma, duktaalinen karsinooma in situ, estrogeenireseptori (ER), progesteronireseptori (PR), ihmisen epidermaalikasvutekijäreseptori 2 (HER 2) -reseptorin tila ja Ki-67-proliferaatioindeksin tulos biopsiasta, mammogrammien BI-RADS-pistemäärä.
      • Koota luettelo mammogrammeista, jotka eivät liity BI-RADS 6 -tapauksiin, joihin ennen anonymisointia syötetään seuraavat tiedot: potilaan henkilötunniste ja ikä, aineistoon sisältyvien mammogrammien päivämäärät, mammogrammien BI-RADS-pistemäärä.
      • Koota radiologinen kultastandardi, joka koostuu BI-RADS 6 -tapauksista.

      Tässä tutkimuksessa pyydetään BI-RADS-pistemäärän lisäksi myös mahdollisten löydösten kiinnostusalueet (ROI).

      Tällaisen tehtävän suorittamisen arvioidaan vievän kokeneelta radiologilta noin 30 minuuttia 100 mammogrammin aineiston tarkasteluun, kun taas vähemmän kokeneen radiologin arvioidaan vievän 60–90 minuuttia.

      Tämä kuormitus ei aiheuta merkittäviä esteitä tai häiriöitä päivittäiseen työnkulkuun.

      Ei-syöpämammogrammeja varten otettiin mukaan vain tapaukset, joiden negatiivinen arvio (BI-RADS 1 tai 2) vahvistettiin myöhemmissä seulonnoissa.

      Jokaiselle aineistoon sisällytetylle mammografiatutkimukselle kirjataan protokollaan kliinisessä työssä määritetty vastaava BI-RADS-arvio tutkimuksen läpinäkyvyyden ja luotettavuuden varmistamiseksi.

      Tilastollinen merkitsevyys lasketaan perustuen odotettuun eroon herkkyydessä vertailutestissä (lukeminen ilman tekoälytukea) ja arvioitavassa testissä (lukeminen tekoälytuella).

      Vertailutestin arvioitu herkkyys on 0.85 ja arvioitavan testin herkkyys on 0.90.

      Otoskoon arvioimiseen käytetään kahden osuuden Z-testiä.

      Haluttu tilastollinen voima on p = 0.90 ja merkitsevyystaso α = 0.05.

      Näiden parametrien perusteella otoskooksi on laskettu 914, joka pyöristetään tutkimuksen aikana 1000 tapaukseen.

      McNemar-testiin perustuva laskelma (90% vs. 87% herkkyys, α = 0.05, teho 0.90, prevalenssi ~30%) osoitti vähimmäisotoskooksi 876, joka pyöristettiin varovaisesti 1000:ksi välttääkseen alhaisen tilastollisen voiman riskin.

      Tästä syystä rakennettiin 1000 mammogrammia käsittävä aineisto.

      Tässä tutkimuksessa harkitaan mahdollisuutta käyttää riippumatonta biostatistikkoa.

   2. Lukijoiden ammatillinen kokemus

   Tässä tutkimuksessa asiantuntija määritellään seuraavasti: radiologi, joka työskentelee päivittäin rintaradiologian alalla, mukaan lukien mammogrammien arviointi, rintojen ultraäänitutkimusten tekeminen ja biopsioiden ottaminen ultraäänen ja/tai magneettikuvauksen ohjauksessa, sekä rintamagneettitutkimusten kuvaaminen.

   Asiantuntijana pidetään erikoislääkäriä, jolla on:

   • vähintään 10 vuoden kliininen kokemus rintaradiologiasta,
   • vähintään 12 000 mammografiatutkimuksen vuotuinen lukumäärä,
   • vähintään 12 kuukauden päivittäinen työkokemus tekoälyn käytöstä.

   Päätutkija on rintaradiologi, jolla on noin 20 vuoden kokemus mammografiatutkimusten arvioinnista, ja hän on arvioinut yli 77 000 mammografiatutkimusta viimeisen viiden vuoden aikana, mikä tarkoittaa keskimäärin yli 15 000 tutkimusta vuodessa.

   Tämän lisäksi päätutkija tekee rintojen ultraäänitutkimuksia, ottaa biopsioita sekä ultraäänen että magneettikuvauksen ohjauksessa ja kuvaa rintojen magneettitutkimuksia.

   Päätutkijalla on myös 18 kuukauden päivittäinen työkokemus tekoälyn käytöstä mammografiatulkinnassa.

   Lisäksi päätutkija on arvioinut rutiininomaisesti mammografiatutkimusten asettelun laatua vähintään seitsemän vuoden ajan.

   Päätutkija toimii asiantuntijana aineiston kokoamisessa ja kultastandardin validonnissa.

   • Lukija 1: Noin 30 vuoden kokemus mammografiatutkimusten arvioinnista, yli 76 000 mammografiatutkimusta arvioitu viimeisen viiden vuoden aikana, keskimäärin yli 15 000 tutkimusta vuodessa.
   • Lukija 2: Noin 10 vuoden kokemus mammografiatutkimusten arvioinnista, yli 31 000 mammografiatutkimusta arvioitu viimeisen viiden vuoden aikana, keskimäärin yli 6 000 tutkimusta vuodessa.
   • Lukija 3: Noin 1 vuoden kokemus mammografiatutkimusten arvioinnista, 4 324 mammografiatutkimusta arvioitu viimeisen vuoden aikana.
   • Lukija 4: Alle 1 vuoden kokemus mammografiatutkimusten arvioinnista, 2 963 mammografiatutkimusta arvioitu viimeisen vuoden aikana.
   • Lukija 5: Alle 1 vuoden kokemus mammografiatutkimusten arvioinnista, 2 242 mammografiatutkimusta arvioitu viimeisen vuoden aikana.

   Eri kokemustasot ovat tärkeitä tämän tutkimuksen toteuttamisessa.

   Tämä mahdollistaa sen arvioinnin, miten tekoälyn ehdottama löydösten tulkinta vaikuttaa eri kokemustason radiologeihin, ja tutkia, vahvistaako tai kumoako tämä toisen hypoteesin.

   YKSITYISKOHTAINEN KUVAUS TUTKIMUSMENETELMÄSTÄ: Aineiston strategia, prosessi ja data-analyysi piilotetaan tarkoituksella lukijoilta arvioiden riippumattomuuden säilyttämiseksi ja kognitiivisen harhan välttämiseksi.

   Koko tutkimusmenetelmä on dokumentoitu protokollassa (kohta 6, kohta 7, kohta 12), ja vastaavat tiedot annetaan osallistujille katseluvaiheiden päätyttyä.

   Tälläinen aineisto mahdollistaa skenaariossa, jossa on käytettävissä vain yksi mammografiatutkimus - ilman kliinisiä tietoja ja aikaisempia tutkimuksia - arvioida lukijoiden ja tekoälyn kykyä havaita rintasyöpä rajoitetun tiedon olosuhteissa.

   Protokollan kohdassa 6.2.1 annettujen tietojen perusteella tämän aineiston kokoonpano mahdollistaa vastauksen ensimmäiseen hypoteesiin.

   Tälläinen aineisto mahdollistaa määrällisten vastausten antamisen seuraaviin kysymyksiin, mikä varmistaa toisen ja kolmannen hypoteesin käsittelyn.

   1. Mikä on tekoälypohjaisen CAD-järjestelmän tarkkuus ja herkkyys?
   2. Mikä on ihmislukijoiden tarkkuus ja herkkyys?
   3. Vaikuttavatko CAD-vihjeitä ihmislukijoiden suorituskykyyn?
   4. Riippuuko ihmislukijoiden suorituskyky siitä, milloin CAD-vihjeitä esitetään - katselun alussa vai lukijan alustavan arvion jälkeen?
   5. Mitkä tekijät vaikuttavat ihmislukijoiden ja tekoälypohjaisen CAD-järjestelmän diagnostiseen suorituskykyyn?

   Erityisesti:

   • Lukijaan liittyvät tekijät: kokemustaso
   • Potilaaseen liittyvät tekijät: ikä, rintakudoksen tiheys
   • Pahanlaatuisen prosessin luonnehdinta: kasvaimen tyyppi, gradus, koko, näkyvyys vain yhdessä tai molemmissa projektioissa (KK ja/tai VIN)
   • Mammogrammien tekniset parametrit: puristusvoima, puristuspaine, oikea asettelu

   KUVAUS KOORDINOIVASTA TAI VASTAAVASTA TUTKIJASTA TUTKIMUKSEN EETTISIIN JA TIETOSUOJAAN LIITTYVISSÄ NÄKÖKOHDISSA

   1. Eettiset näkökohdat Tutkimuksen toteuttavat Mammograaf Radioloogiakliinik (rekisterinumero 10233840) ja HERA-MI (Siret: 828871699J.

      HERA-MI on tekoälyn valmistaja ja kehittäjä; Mammograaf Radioloogiakliinik on terveydenhuollon tarjoaja ja Hera-MIn tekoälyn päivittäinen käyttäjä käytännössään.

      Mammograaf Radioloogiakliinik on toiminut Hera-MIn referenssikeskuksena vuodesta 2024 lähtien.

      Tähän tutkimukseen osallistuvien osapuolten välillä ei ole taloudellisia liiketoimia.

      Mammograaf Radioloogiakliinik ja Hera-MI valmistelevat ja allekirjoittavat eturistiriidan välttämistä koskevan julistuksen tutkimuksen läpinäkyvyyden ja luotettavuuden varmistamiseksi.

      Tutkimuksen päätyttyä oman toiminnan suorituskyvyn tuntemus paranee, ja ymmärrys tekoälytyökalun luotettavuuden rajoista kohenee.