Rintojen ultraäänitutkimuksen tekoälyn tulkinnan vertailuarvon rakentaminen ja monimuotoisten tekoälymallien suorituskyvyn arviointi (BUST-AI Bench)
Älykkään rinta-ultraääni-kuvien tulkinnan standardoidun vertailuarviointijärjestelmän rakentaminen ja multimodaalisten tekoälymallien systemaattinen suorituskyvyn arviointi ACR BI-RADS v2025 -kriteerien perusteella
Tämä yksittäiskeskuksinen, retrospektiivinen, havainnollinen tutkimus pyrkii rakentamaan standardoidun vertailuarviointijärjestelmän älykkäälle rintojen ultraäänikuvan tulkinnan arvioinnille ja systemaattisesti arvioimaan nykyisten valtavirran multimodaalisten tekoälymallien (AI) diagnostista suorituskykyä.
Anonymisoidut B-moodin rintojen ultraäänikuvat vahvistetuilla patologisilla diagnooseilla kerätään retrospektiivisesti laitoksen arkistosta (2018-2025) ja täydennetään julkaistujen avoimien tietokantojen kuvilla. Eri kokemustasoiset asiantuntijaradiologit merkitsevät kaikki kuvat itsenäisesti American College of Radiology (ACR) Breast Imaging Reporting and Data System (BI-RADS) v2025 -kriteerien mukaisesti, mukaan lukien rauhaskudoksen koostumus, muutoksen luonne (massa vs. ei-massamuutos), morfologiset kuvaajat ja lopullinen BI-RADS-luokitus.
Perustason syväoppimismallit (CNN-pohjainen ResNet-50 ja Transformer-pohjainen USFM) koulutetaan suorituskyvyn perustason määrittämiseksi ja tapausten luokittelemiseksi diagnostisen vaikeustason mukaan ristirakenteisen konsensuksen kautta. Useita multimodaalisia suuria kielimalleja (MLLM), mukaan lukien yleiskäyttöiset ja lääketieteelliset alan mallit, arvioidaan sitten standardoitujen API-kutsujen avulla käyttäen BI-RADS-ohjattuja ajatusketjukyselyitä lämpötilassa 0 toistettavuuden varmistamiseksi.
Ensisijaiset päätepisteet sisältävät BI-RADS-luokituksen tarkkuuden ja diagnostisen AUC:n hyvänlaatuisen-pahanlaatuisen erottelun osalta. Mallien robustisuus ja turvallisuus arvioidaan poikkeamajakauman hylkäämiskokeiden, lämpötila-stabiilisuuskokeiden ja ajattelutapa-ablaatiotutkimusten kautta. Tämä tutkimus noudattaa FLAIR- ja TRIPOD-LLM-raportointiohjeita.
Tutkimuksen yleiskatsaus
Tila
Interventio / Hoito
Yksityiskohtainen kuvaus
Tausta: Rintasyöpä on naisten yleisin pahanlaatuinen kasvain maailmanlaajuisesti. Ultraääni on ensilinjan seulontamenetelmä, erityisesti aasialaisilla väestöillä, joilla on tiheä rintakudos, missä mammografian herkkyys on rajallinen. Ultraäänen tulkinta on kuitenkin erittäin operaattoririippuvaista, ja BI-RADS-luokituksessa on huomattavia havainnoitsijavaihteluita, erityisesti luokan 4A-4B muutoksille. Monimuotoiset suuret kielimallit (MLLM) ovat nousseet lupaavaksi työkaluksi lääketieteelliseen kuvantamiseen niiden nolla-otteen diagnostisen kyvyn, tulkittavan ajatusketjun päättelyn ja rakenteisen raportin luomisen vuoksi. Tällä hetkellä ei kuitenkaan ole standardoitua vertailukohtaa tekoälyn suorituskyvyn arvioimiseksi rintojen ultraäänen tulkinnassa.
Tutkimussuunnitelma: Noin 1 380 rintojen ultraäänikuvaa kootaan (1 200 arviointisarjaa + 150 jakautumattoman turvallisuustestisarjan kuvaa + 30 kehityskäskyjen sarjaa), kattamalla kolme diagnostista luokkaa: normaali rinta, hyvänlaatuiset muutokset (BI-RADS 2-4B) ja pahanlaatuiset muutokset (BI-RADS 3-5). Kaksi nuorta radiologiaa (<5 vuoden kokemus) ja kaksi vanhempaa radiologiaa (>15 vuotta) merkitsevät kuvat itsenäisesti ACR BI-RADS v2025:n mukaisesti, ja viidennen asiantuntijan välitys ratkaisee ristiriitaiset tapaukset.
Diagnostinen vaikeus jaotellaan kolmeen tasoon käyttämällä ristikkäistä arkkitehtuurista syväoppimisen konsensusta: Taso 1 (suoraviivainen, molemmat mallit oikein), Taso 2 (epäselvä, yksi oikein/yksi väärin) ja Taso 3 (vaikea, molemmat väärin, vanhemman asiantuntijan vahvistuksella). MLLM-malleja arvioidaan useilla ulottuvuuksilla: luokittelutarkkuus, herkkyys, spesifisyys, F1-pistemäärä, AUC, Cohenin kappa -yhteensopivuus asiantuntijakonsensuksen kanssa, odotettu kalibrointivirhe (ECE), morfologisten piirteiden kuvauksen tarkkuus ja ajatusketjun päättelyn laatu.
Turvallisuusarviointi: (1) Jakautumattoman hylkäystesti käyttäen 150 ei-diagnostista kuvaa (heikentyneet kuvat, ei-rinta ultraääni, muut kuvantamismenetelmät); (2) Lämpötila-vakaus esikoe parametriasetusten yli; (3) Ajattelutilan poisto vertaillen standardia ja ajatusketjun päättelytiloja. Kaikki kokeet käyttävät kiinteitä mallin tilannekuvia, järjestelmän sormenjäljen seurantaa ja täydellistä lokitusta toistettavuutta varten.
Opintotyyppi
Ilmoittautuminen (Arvioitu)
Yhteystiedot ja paikat
Opiskeluyhteys
- Nimi: Qingli Zhu, MD
- Puhelinnumero: +86 13621376699
- Sähköposti: zqlpumch@126.com
Tutki yhteystietojen varmuuskopiointi
- Nimi: Yinglan Wu, MD
- Puhelinnumero: +86 15626121076
- Sähköposti: wuylan7@gmail.com
Opiskelupaikat
-
-
-
Beijing, Kiina, 100730
- Rekrytointi
- Peking Union Medical College Hospital
-
Ottaa yhteyttä:
- Qingli Zhu, MD
- Puhelinnumero: +86 13621376699
- Sähköposti: zqlpumch@126.com
-
-
Osallistumiskriteerit
Kelpoisuusvaatimukset
Opintokelpoiset iät
- Aikuinen
- Vanhempi Aikuinen
Hyväksyy terveitä vapaaehtoisia
Näytteenottomenetelmä
Tutkimusväestö
Kuvaus
Sisällyttämiskriteerit:
- B-moodin rintojen ultraäänigrayscale-kuvat institutionaalisesta PACS-tietokannasta tai julkaistuista avoimen pääsyn rintojen ultraäänitietoaineistoista, joissa on dokumentoitu alkuperäinen institutionaalinen eettinen hyväksyntä
- Kuvanlaatu riittävä kliiniseen diagnoosiin, jossa kiinnostuksen alue näkyy selvästi
- Patologinen diagnoosi vahvistettu (hyvänlaatuisille ja pahanlaatuisille leesioille), tai normaali rintojen tila vahvistettu vanhemman radiologin toimesta, jolla on >15 vuoden kokemus rintojen ultraäänistä (normaaliryhmälle)
- Täydellinen de-identifiointi kaiken henkilökohtaisesti tunnistettavan tiedon poistamisen kautta
Poissulkemiskriteerit:
- Vakavasti heikentynyt kuvanlaatu, joka estää merkityksellisen BI-RADS-arvioinnin
- Kaksoiskuvat samasta potilaasta (vain edustavin kuva leesiota kohden säilytetään)
- Kuvat, joissa on jäljellä henkilökohtaisesti tunnistettavaa tietoa de-identifiointikäsittelyn jälkeen
- Tapaukset, joissa on epäselviä, kiisteltyjä tai saatavissa olemattomia patologisia tuloksia
- Ei-B-moodin ultraäänikuvat, mukaan lukien elastografia, kontrastivahvisteinen ultraääni ja Doppler-kuvantaminen
Opintosuunnitelma
Miten tutkimus on suunniteltu?
Suunnittelun yksityiskohdat
Kohortit ja interventiot
Ryhmä/Kohortti |
Interventio / Hoito |
|---|---|
|
Normaali rinta
Rintojen ultraäänikuvat, jotka näyttävät normaalia rauhaskudosta erilaisissa kudoskoostumustyypeissä, eikä keskittyneitä muutoksia ole havaittu.
Vahvistettu vanhemman radiologin tarkastuksella.
|
Useiden tekoälyjärjestelmien, mukaan lukien perusmalleina toimivat syväoppimismallit (ResNet-50, USFM) ja monimuotoiset suuret kielimallit, suorittama tunnistamattomaksi tehtyjen rinnan ultraäänikuvien retrospektiivinen arviointi käyttäen standardoituja BI-RADS-ohjattuja ketjupohdinta-avauksia API:n kautta.
Potilaskontaktia tai kliinistä päätöksentekoa ei sisälly.
|
|
Hyvänlaatuinen muutos
Rinnan ultraäänikuvia, joissa on patologisesti vahvistettuja hyvänlaatuisia muutoksia (BI-RADS 2-4B), mukaan lukien fibroadenooma, kysta, lipooma, sklerosoiva adenoosi, intraduktaalinen papilloomi ja valitut ei-massamuutokset (NML).
|
Useiden tekoälyjärjestelmien, mukaan lukien perusmalleina toimivat syväoppimismallit (ResNet-50, USFM) ja monimuotoiset suuret kielimallit, suorittama tunnistamattomaksi tehtyjen rinnan ultraäänikuvien retrospektiivinen arviointi käyttäen standardoituja BI-RADS-ohjattuja ketjupohdinta-avauksia API:n kautta.
Potilaskontaktia tai kliinistä päätöksentekoa ei sisälly.
|
|
Pahanlaatuinen muutos
Rintojen ultraäänikuvat, jotka sisältävät patologisesti vahvistettuja pahanlaatuisia muutoksia (BI-RADS 3-5), mukaan lukien invasiivinen duktaalikarsinooma, invasiivinen lobulaarikarsinooma, mukinoosikarsinooma ja valitut ei-massamuutokset (NML).
|
Useiden tekoälyjärjestelmien, mukaan lukien perusmalleina toimivat syväoppimismallit (ResNet-50, USFM) ja monimuotoiset suuret kielimallit, suorittama tunnistamattomaksi tehtyjen rinnan ultraäänikuvien retrospektiivinen arviointi käyttäen standardoituja BI-RADS-ohjattuja ketjupohdinta-avauksia API:n kautta.
Potilaskontaktia tai kliinistä päätöksentekoa ei sisälly.
|
Mitä tutkimuksessa mitataan?
Ensisijaiset tulostoimenpiteet
Tulosmittaus |
Toimenpiteen kuvaus |
Aikaikkuna |
|---|---|---|
|
Patologisen diagnoosin diagnostinen tarkkuus
Aikaikkuna: Tutkimuksen päättyessä, noin 12 kuukauden kuluttua
|
Tunnistusherkkyys, spesifisyys, positiivinen ennustearvo (PPV), negatiivinen ennustearvo (NPV) ja F1-pisteet tekoälymallien hyvänlaatuisen-pahanlaatuisen luokittelun osalta, kun histopatologinen diagnoosi on vertailukohtana.
|
Tutkimuksen päättyessä, noin 12 kuukauden kuluttua
|
|
BI-RADS-luokituksen tarkkuus
Aikaikkuna: Tutkimuksen päättyessä, noin 12 kuukauden kuluttua
|
AI-mallien kokonaisluotettavuus BI-RADS-luokkien (2, 3, 4A, 4B, 4C, 5) määrittämisessä rinnan ultraäänikuville verrattuna asiantuntijakonsensuksen annotaatiota käyttäen viitestandardina.
|
Tutkimuksen päättyessä, noin 12 kuukauden kuluttua
|
Toissijaiset tulostoimenpiteet
Tulosmittaus |
Toimenpiteen kuvaus |
Aikaikkuna |
|---|---|---|
|
Yhteensopivuus asiantuntijakonsensuksen kanssa (Cohenin kappa)
Aikaikkuna: Tutkimuksen päättyessä, noin 12 kuukautta
|
Cohenin kappakerroin, joka mittaa jokaisen tekoälymallin BI-RADS-luokituksen ja asiantuntijakonsensusan notaation välistä sopivuutta, ilmoitettuna 95 % luottamusvälillä.
|
Tutkimuksen päättyessä, noin 12 kuukautta
|
|
Poikkeamajakauman hylkäysprosentti
Aikaikkuna: Tutkimuksen päätyttyä, noin 12 kuukautta
|
AI-mallien oikein tunnistamien ja hylkäämien ei-diagnostisten kuvien (heikentyneen laadun, ei-rinta-ultraäänen, muiden kuvantamismenetelmien) osuus, arvioiden toimialaturvallisuutta.
|
Tutkimuksen päätyttyä, noin 12 kuukautta
|
|
Herkkyys, spesifisyys, PPV, NPV ja F1-pistemäärä
Aikaikkuna: Tutkimuksen päättyessä, noin 12 kuukautta
|
Standardit diagnoosimenetelmän suorituskykymittarit hyvänlaatuisen-pahanlaatuisen luokittelulle, raportoitu jokaiselle tekoälymallille erikseen.
|
Tutkimuksen päättyessä, noin 12 kuukautta
|
Yhteistyökumppanit ja tutkijat
Yhteistyökumppanit
Tutkijat
- Päätutkija: Qingli Zhu, MD, Peking Union Medical College Hospital
Julkaisuja ja hyödyllisiä linkkejä
Yleiset julkaisut
- Sung H, Ferlay J, Siegel RL, Laversanne M, Soerjomataram I, Jemal A, Bray F. Global Cancer Statistics 2020: GLOBOCAN Estimates of Incidence and Mortality Worldwide for 36 Cancers in 185 Countries. CA Cancer J Clin. 2021 May;71(3):209-249. doi: 10.3322/caac.21660. Epub 2021 Feb 4.
- Bi WL, Hosny A, Schabath MB, Giger ML, Birkbak NJ, Mehrtash A, Allison T, Arnaout O, Abbosh C, Dunn IF, Mak RH, Tamimi RM, Tempany CM, Swanton C, Hoffmann U, Schwartz LH, Gillies RJ, Huang RY, Aerts HJWL. Artificial intelligence in cancer imaging: Clinical challenges and applications. CA Cancer J Clin. 2019 Mar;69(2):127-157. doi: 10.3322/caac.21552. Epub 2019 Feb 5.
- Collins GS, Moons KGM, Dhiman P, Riley RD, Beam AL, Van Calster B, Ghassemi M, Liu X, Reitsma JB, van Smeden M, Boulesteix AL, Camaradou JC, Celi LA, Denaxas S, Denniston AK, Glocker B, Golub RM, Harvey H, Heinze G, Hoffman MM, Kengne AP, Lam E, Lee N, Loder EW, Maier-Hein L, Mateen BA, McCradden MD, Oakden-Rayner L, Ordish J, Parnell R, Rose S, Singh K, Wynants L, Logullo P. TRIPOD+AI statement: updated guidance for reporting clinical prediction models that use regression or machine learning methods. BMJ. 2024 Apr 16;385:e078378. doi: 10.1136/bmj-2023-078378.
- Benary M, Wang XD, Schmidt M, Soll D, Hilfenhaus G, Nassir M, Sigler C, Knodler M, Keller U, Beule D, Keilholz U, Leser U, Rieke DT. Leveraging Large Language Models for Decision Support in Personalized Oncology. JAMA Netw Open. 2023 Nov 1;6(11):e2343689. doi: 10.1001/jamanetworkopen.2023.43689.
- Bhayana R, Krishna S, Bleakney RR. Performance of ChatGPT on a Radiology Board-style Examination: Insights into Current Strengths and Limitations. Radiology. 2023 Jun;307(5):e230582. doi: 10.1148/radiol.230582. Epub 2023 May 16.
- Clusmann J, Kolbinger FR, Muti HS, Carrero ZI, Eckardt JN, Laleh NG, Loffler CML, Schwarzkopf SC, Unger M, Veldhuizen GP, Wagner SJ, Kather JN. The future landscape of large language models in medicine. Commun Med (Lond). 2023 Oct 10;3(1):141. doi: 10.1038/s43856-023-00370-1.
- Seyyed-Kalantari L, Zhang H, McDermott MBA, Chen IY, Ghassemi M. Underdiagnosis bias of artificial intelligence algorithms applied to chest radiographs in under-served patient populations. Nat Med. 2021 Dec;27(12):2176-2182. doi: 10.1038/s41591-021-01595-0. Epub 2021 Dec 10.
- Moor M, Banerjee O, Abad ZSH, Krumholz HM, Leskovec J, Topol EJ, Rajpurkar P. Foundation models for generalist medical artificial intelligence. Nature. 2023 Apr;616(7956):259-265. doi: 10.1038/s41586-023-05881-4. Epub 2023 Apr 12.
- Miaojiao S, Xia L, Xian Tao Z, Zhi Liang H, Sheng C, Songsong W. Using a Large Language Model for Breast Imaging Reporting and Data System Classification and Malignancy Prediction to Enhance Breast Ultrasound Diagnosis: Retrospective Study. JMIR Med Inform. 2025 Jun 11;13:e70924. doi: 10.2196/70924.
- Jiao J, Zhou J, Li X, Xia M, Huang Y, Huang L, Wang N, Zhang X, Zhou S, Wang Y, Guo Y. USFM: A universal ultrasound foundation model generalized to tasks and organs towards label efficient image analysis. Med Image Anal. 2024 Aug;96:103202. doi: 10.1016/j.media.2024.103202. Epub 2024 May 15.
- Xiang H, Wang X, Xu M, Zhang Y, Zeng S, Li C, Liu L, Deng T, Tang G, Yan C, Ou J, Lin Q, He J, Sun P, Li A, Chen H, Heng PA, Lin X. Deep Learning-assisted Diagnosis of Breast Lesions on US Images: A Multivendor, Multicenter Study. Radiol Artif Intell. 2023 Jul 12;5(5):e220185. doi: 10.1148/ryai.220185. eCollection 2023 Sep.
- Kottlors J, Iuga AI, Bluethgen C, Bressem K, Kather JN, Moy L, Wald C, Wang W, Liu T, Ranschaert E, Dratsch T, Kleesiek J, Gertz RJ, Rajpurkar P, Bedayat A, Fink MA, Zeeck A, Chaudhari A, Alkasab T, Wu H, Nensa F, Wang B, Grosse Hokamp N, Laukamp KR, Persigehl T, Maintz D, Truhn D, Lennartz S. Guidelines for Reporting Studies on Large Language Models in Radiology: An International Delphi Expert Survey. Radiology. 2026 Feb;318(2):e250913. doi: 10.1148/radiol.250913.
Opintojen ennätyspäivät
Opi tärkeimmät päivämäärät
Opiskelun aloitus (Todellinen)
Ensisijainen valmistuminen (Arvioitu)
Opintojen valmistuminen (Arvioitu)
Opintoihin ilmoittautumispäivät
Ensimmäinen lähetetty
Ensimmäinen toimitettu, joka täytti QC-kriteerit
Ensimmäinen Lähetetty (Todellinen)
Tutkimustietojen päivitykset
Viimeisin päivitys julkaistu (Todellinen)
Viimeisin lähetetty päivitys, joka täytti QC-kriteerit
Viimeksi vahvistettu
Lisää tietoa
Tähän tutkimukseen liittyvät termit
Avainsanat
Muita asiaankuuluvia MeSH-ehtoja
Muut tutkimustunnusnumerot
- K10349
- 2024-I2M-CT-B-035 (Muu apuraha/rahoitusnumero: CAMS Innovation Fund for Medical Sciences)
- I-26PJ0568 (Muu tunniste: Ethics Committee, Peking Union Medical College Hospital)
Yksittäisten osallistujien tietojen suunnitelma (IPD)
Aiotko jakaa yksittäisten osallistujien tietoja (IPD)?
IPD-suunnitelman kuvaus
IPD-jaon aikakehys
IPD-jaon käyttöoikeuskriteerit
IPD-jakamista tukeva tietotyyppi
- STUDY_PROTOCOL
- MAHLA
- ANALYTIC_CODE
Lääke- ja laitetiedot, tutkimusasiakirjat
Tutkii yhdysvaltalaista FDA sääntelemää lääkevalmistetta
Tutkii yhdysvaltalaista FDA sääntelemää laitetuotetta
Nämä tiedot haettiin suoraan verkkosivustolta clinicaltrials.gov ilman muutoksia. Jos sinulla on pyyntöjä muuttaa, poistaa tai päivittää tutkimustietojasi, ota yhteyttä register@clinicaltrials.gov. Heti kun muutos on otettu käyttöön osoitteessa clinicaltrials.gov, se päivitetään automaattisesti myös verkkosivustollemme .