Referenciaadatsor Létrehozása Mellultrahang Mesterséges Intelligencia Értelmezéséhez és Multimodális MI Modellek Teljesítményértékelése (BUST-AI Bench)
Intelligens mellultrahang-képértelmezés szabványosított teljesítményértékelő rendszerének kidolgozása és multimodális mesterséges intelligencia modellek rendszerszintű teljesítményértékelése az ACR BI-RADS v2025 kritériumok alapján
Ez az egyközpontú, retrospektív, megfigyelési tanulmány célja egy standardizált referenciaérték-értékelési rendszer felépítése az intelligens mell ultrahang képértelmezés számára, valamint a jelenlegi főbb multimodális mesterséges intelligencia (MI) modellek diagnosztikai teljesítményének szisztematikus értékelése.
A de-identifikált B-módú mell ultrahang képeket megerősített patológiai diagnózissal retrospektíven gyűjtik össze az intézményi archívumból (2018–2025), és kiegészítik nyilvánosan elérhető adatbázisokból származó képekkel. A különböző tapasztalati szintű szakértő radiológusok függetlenül annotálják az összes képet az Amerikai Radiológus Kollégium (ACR) Mellképalkotó Jelentési és Adatrendszer (BI-RADS) v2025 kritériumai szerint, beleértve a mirigyszövet összetételét, a lezió jellemzését (tömeg kontra nem tömeges lezió), morfológiai leírókat és a végső BI-RADS osztályozást.
Alapvonali mélytanulási modelleket (CNN-alapú ResNet-50 és Transformer-alapú USFM) képeznek ki a teljesítmény alapvonalak megállapítására és az esetek diagnosztikai nehézség szerinti rétegződésére a keresztszerkezeti konszenzus révén. Több multimodális nagy nyelvi modellt (MLLM), beleértve az általános célú és az orvosi területi modelleket is, ezután standardizált API hívásokkal értékelnek ki BI-RADS-vezérelt gondolatmenet-promptokkal 0 hőmérsékleten a reprodukálhatóság érdekében.
A primer végpontok közé tartozik a BI-RADS osztályozási pontosság és a diagnosztikus AUC a jóindulatú-rosszindulatú differenciálásra. A modellek robusztusságát és biztonságát eloszláson kívüli elutasítási tesztekkel, hőmérséklet-stabilitási kísérletekkel és gondolkodási mód ablációs tanulmányokkal értékelik. Ez a tanulmány betartja a FLAIR és TRIPOD-LLM jelentési irányelveket.
A tanulmány áttekintése
Állapot
Körülmények
Beavatkozás / kezelés
Részletes leírás
Háttér: A mellrák a világ legelterjedtebb rosszindulatú daganata a nők körében. Az ultrahang első vonalbeli szűrőeszköz, különösen az ázsiai populációkban, ahol a sűrű mellszövet miatt a mammográfiás érzékenység korlátozott. Az ultrahang értelmezése azonban nagymértékben operátorfüggő, jelentős megfigyelőközi variabilitással a BI-RADS osztályozásban, különösen a 4A-4B kategóriájú leziónál. A multimodális nagy nyelvi modellek (MLLM) ígéretes eszközként jelentek meg az orvosi képalkotás elemzésében, nulla példa alapján történő diagnosztikai képességük, értelmezhető gondolatmenet-láncok és strukturált jelentésgenerálásuk miatt. Ennek ellenére jelenleg nincs szabványosított benchmark az AI teljesítményének értékelésére a mell ultrahang értelmezésében.
Tanulmányterv: Körülbelül 1380 mell ultrahang kép kerül összeállításra (1200 értékelési halmaz + 150 eloszláson kívüli biztonsági teszt halmaz + 30 prompt fejlesztési halmaz), három diagnosztikai kategóriát felölelve: normál mell, jóindulatú leziók (BI-RADS 2-4B) és rosszindulatú leziók (BI-RADS 3-5). Két junior radiológus (<5 év tapasztalat) és két szenior radiológus (>15 év) függetlenül annotálja a képeket az ACR BI-RADS v2025 szerint, ötödik szakértő döntőbíráskodásával az ellentmondásos esetekben.
A diagnosztikai nehézség három szintre lesz rétegelve keresztrétegű mélytanulási konszenzussal: 1. szint (egyértelmű, mindkét modell helyes), 2. szint (kétértelmű, egy helyes/egy helytelen) és 3. szint (nehéz, mindkettő helytelen, szenior szakértői validációval). Az MLLM-eket több dimenzióban értékelik: osztályozási pontosság, érzékenység, specificitás, F1 pontszám, AUC, Cohen kappa egyezés a szakértői konszenzussal, várt kalibrációs hiba (ECE), morfológiai jellemző leírás pontossága és a gondolatmenet-lánc minősége.
Biztonsági értékelés: (1) Eloszláson kívüli elutasítási teszt 150 nem diagnosztikai képpel (romlott képek, nem mell ultrahang, más képalkotási módok); (2) Hőmérséklet-stabilitás előkísérlet paraméterbeállítások között; (3) Gondolkodási mód abláció, összehasonlítva a standard és a gondolatmenet-lánc gondolkodási módokat. Minden kísérlet fix modell pillanatképeket, rendszerujjlenyomat-monitorozást és teljes naplózást használ a reprodukálhatóság érdekében.
Tanulmány típusa
Beiratkozás (Becsült)
Kapcsolatok és helyek
Tanulmányi kapcsolat
- Név: Qingli Zhu, MD
- Telefonszám: +86 13621376699
- E-mail: zqlpumch@126.com
Tanulmányozza a kapcsolattartók biztonsági mentését
- Név: Yinglan Wu, MD
- Telefonszám: +86 15626121076
- E-mail: wuylan7@gmail.com
Tanulmányi helyek
-
-
-
Beijing, Kína, 100730
- Toborzás
- Peking Union Medical College Hospital
-
Kapcsolatba lépni:
- Qingli Zhu, MD
- Telefonszám: +86 13621376699
- E-mail: zqlpumch@126.com
-
-
Részvételi kritériumok
Jogosultsági kritériumok
Tanulmányozható életkorok
- Felnőtt
- Idősebb felnőtt
Egészséges önkénteseket fogad
Mintavételi módszer
Tanulmányi populáció
Leírás
Bevonási kritériumok:
- B-módú mell ultrahang szürkeárnyalatos képek az intézményi PACS adatbázisból vagy közzétett nyílt hozzáférésű mell ultrahang adatkészletekből, dokumentált eredeti intézményi etikai engedéllyel
- Kéminőség megfelelő a klinikai diagnózishoz, az érdeklődési régió világos megjelenítésével
- Patológiai diagnózis megerősítve (a jóindulatú és rosszindulatú elváltozás csoportok esetében), vagy normál mellállapot megerősítve egy >15 év mell ultrahang tapasztalattal rendelkező idősebb radiológus által (a normál csoport esetében)
- Teljes de-identifikáció minden személyazonosító információ eltávolításával
Kizárási kritériumok:
- Súlyosan romlott kéminőség, amely kizárja az értelmes BI-RADS értékelést
- Duplikált képek ugyanarról a betegről (csak a legreprezentatívabb kép kerül megőrzésre elváltozásonként)
- Képek maradék személyazonosító információval a de-identifikációs feldolgozás után
- Esetek kétértelmű, vitatott vagy nem elérhető patológiai eredményekkel
- Nem B-módú ultrahang képek, beleértve az elastográfiát, kontrasztanyaggal fokozott ultrahangot és Doppler képalkotást
Tanulási terv
Hogyan készül a tanulmány?
Tervezési részletek
Kohorszok és beavatkozások
Csoport / Kohorsz |
Beavatkozás / kezelés |
|---|---|
|
Normál Mell
Mell ultrahang képek, amelyek a különböző szövetösszetételű típusokon keresztül normál mirigyszövetet mutatnak, fókuszos elváltozások nem azonosíthatók.
Idősebb radiológus felülvizsgálatával megerősítve.
|
Több mesterséges intelligencia rendszer (beleértve az alapvonali mélytanulási modelleket – ResNet-50, USFM – és multimodális nagy nyelvi modelleket) retrospektív értékelése a személyazonosságot nem feltáró mell ultrahangképekről, standardizált BI-RADS-vezérelt gondolatmenet-utasítások alkalmazásával API-n keresztül.
A vizsgálat nem foglal magában betegkapcsolatot vagy klinikai döntéshozatalt.
|
|
Jóindulatú elváltozás
Emberi mell ultrahang képek, amelyek patológiailag igazolt jóindulatú elváltozásokat (BI-RADS 2-4B) tartalmaznak, beleértve fibroadenómát, cisztát, lipómát, szklerózáló adenózist, intraduktális papillómát és kiválasztott nem-tömeges elváltozásokat (NML).
|
Több mesterséges intelligencia rendszer (beleértve az alapvonali mélytanulási modelleket – ResNet-50, USFM – és multimodális nagy nyelvi modelleket) retrospektív értékelése a személyazonosságot nem feltáró mell ultrahangképekről, standardizált BI-RADS-vezérelt gondolatmenet-utasítások alkalmazásával API-n keresztül.
A vizsgálat nem foglal magában betegkapcsolatot vagy klinikai döntéshozatalt.
|
|
Rosszindulatú elváltozás
Mell ultrahang képek, amelyek patológiailag igazolt rosszindulatú elváltozásokat tartalmaznak (BI-RADS 3-5), beleértve invazív duktális karcinómát, invazív lobuláris karcinómát, mucinózus karcinómát, és kiválasztott nem-tömeges elváltozásokat (NML).
|
Több mesterséges intelligencia rendszer (beleértve az alapvonali mélytanulási modelleket – ResNet-50, USFM – és multimodális nagy nyelvi modelleket) retrospektív értékelése a személyazonosságot nem feltáró mell ultrahangképekről, standardizált BI-RADS-vezérelt gondolatmenet-utasítások alkalmazásával API-n keresztül.
A vizsgálat nem foglal magában betegkapcsolatot vagy klinikai döntéshozatalt.
|
Mit mér a tanulmány?
Elsődleges eredményintézkedések
Eredménymérő |
Intézkedés leírása |
Időkeret |
|---|---|---|
|
Diagnosztikai pontosság a patológiai diagnózis esetén
Időkeret: A vizsgálat befejezésekor, körülbelül 12 hónap
|
Az AI-modelzek érzékenysége, specifikussága, pozitív prediktív értéke (PPV), negatív prediktív értéke (NPV) és F1-pontszáma a jóindulatú-rosszindulatú osztályozásra, a hisztopatológiai diagnózis arany standardként való alkalmazásával.
|
A vizsgálat befejezésekor, körülbelül 12 hónap
|
|
BI-RADS osztályozás pontossága
Időkeret: A tanulmány befejezésekor, körülbelül 12 hónap
|
Az AI-modellek teljes pontossága a BI-RADS kategóriák (2, 3, 4A, 4B, 4C, 5) mellultrahang felvételekre történő hozzárendelésében, az expert konszenzusos annotáció referencia alapján történő összehasonlításban.
|
A tanulmány befejezésekor, körülbelül 12 hónap
|
Másodlagos eredményintézkedések
Eredménymérő |
Intézkedés leírása |
Időkeret |
|---|---|---|
|
Egyetértés a szakértői konszenzussal (Cohen kappa)
Időkeret: A vizsgálat befejezésekor, körülbelül 12 hónap
|
A Cohen-féle kappa-együttható, amely az egyes mesterséges intelligencia modellek BI-RADS osztályozása és a szakértői konszenzusos annotációk közötti egyezést méri, 95%-os konfidenciaintervallummal megadva.
|
A vizsgálat befejezésekor, körülbelül 12 hónap
|
|
Out-of-Distribution Elutasítási Arány
Időkeret: A vizsgálat befejezésekor, körülbelül 12 hónap
|
Az AI modellek által helyesen azonosított és elutasított nem diagnosztikus képek aránya (romlott minőség, nem mell ultrahang, egyéb képalkotó módszerek), amely a tartományi biztonságot értékeli.
|
A vizsgálat befejezésekor, körülbelül 12 hónap
|
|
Szenzitivitás, Specificitás, PPV, NPV és F1 Pontszám
Időkeret: A vizsgálat befejezésekor, körülbelül 12 hónap múlva
|
A jóindulatú-rosszindulatú osztályozás szabványos diagnosztikai teljesítménymutatói, az egyes MI-modellekre egyénileg jelentve.
|
A vizsgálat befejezésekor, körülbelül 12 hónap múlva
|
Együttműködők és nyomozók
Együttműködők
Nyomozók
- Kutatásvezető: Qingli Zhu, MD, Peking Union Medical College Hospital
Publikációk és hasznos linkek
Általános kiadványok
- Sung H, Ferlay J, Siegel RL, Laversanne M, Soerjomataram I, Jemal A, Bray F. Global Cancer Statistics 2020: GLOBOCAN Estimates of Incidence and Mortality Worldwide for 36 Cancers in 185 Countries. CA Cancer J Clin. 2021 May;71(3):209-249. doi: 10.3322/caac.21660. Epub 2021 Feb 4.
- Bi WL, Hosny A, Schabath MB, Giger ML, Birkbak NJ, Mehrtash A, Allison T, Arnaout O, Abbosh C, Dunn IF, Mak RH, Tamimi RM, Tempany CM, Swanton C, Hoffmann U, Schwartz LH, Gillies RJ, Huang RY, Aerts HJWL. Artificial intelligence in cancer imaging: Clinical challenges and applications. CA Cancer J Clin. 2019 Mar;69(2):127-157. doi: 10.3322/caac.21552. Epub 2019 Feb 5.
- Collins GS, Moons KGM, Dhiman P, Riley RD, Beam AL, Van Calster B, Ghassemi M, Liu X, Reitsma JB, van Smeden M, Boulesteix AL, Camaradou JC, Celi LA, Denaxas S, Denniston AK, Glocker B, Golub RM, Harvey H, Heinze G, Hoffman MM, Kengne AP, Lam E, Lee N, Loder EW, Maier-Hein L, Mateen BA, McCradden MD, Oakden-Rayner L, Ordish J, Parnell R, Rose S, Singh K, Wynants L, Logullo P. TRIPOD+AI statement: updated guidance for reporting clinical prediction models that use regression or machine learning methods. BMJ. 2024 Apr 16;385:e078378. doi: 10.1136/bmj-2023-078378.
- Benary M, Wang XD, Schmidt M, Soll D, Hilfenhaus G, Nassir M, Sigler C, Knodler M, Keller U, Beule D, Keilholz U, Leser U, Rieke DT. Leveraging Large Language Models for Decision Support in Personalized Oncology. JAMA Netw Open. 2023 Nov 1;6(11):e2343689. doi: 10.1001/jamanetworkopen.2023.43689.
- Bhayana R, Krishna S, Bleakney RR. Performance of ChatGPT on a Radiology Board-style Examination: Insights into Current Strengths and Limitations. Radiology. 2023 Jun;307(5):e230582. doi: 10.1148/radiol.230582. Epub 2023 May 16.
- Clusmann J, Kolbinger FR, Muti HS, Carrero ZI, Eckardt JN, Laleh NG, Loffler CML, Schwarzkopf SC, Unger M, Veldhuizen GP, Wagner SJ, Kather JN. The future landscape of large language models in medicine. Commun Med (Lond). 2023 Oct 10;3(1):141. doi: 10.1038/s43856-023-00370-1.
- Seyyed-Kalantari L, Zhang H, McDermott MBA, Chen IY, Ghassemi M. Underdiagnosis bias of artificial intelligence algorithms applied to chest radiographs in under-served patient populations. Nat Med. 2021 Dec;27(12):2176-2182. doi: 10.1038/s41591-021-01595-0. Epub 2021 Dec 10.
- Moor M, Banerjee O, Abad ZSH, Krumholz HM, Leskovec J, Topol EJ, Rajpurkar P. Foundation models for generalist medical artificial intelligence. Nature. 2023 Apr;616(7956):259-265. doi: 10.1038/s41586-023-05881-4. Epub 2023 Apr 12.
- Miaojiao S, Xia L, Xian Tao Z, Zhi Liang H, Sheng C, Songsong W. Using a Large Language Model for Breast Imaging Reporting and Data System Classification and Malignancy Prediction to Enhance Breast Ultrasound Diagnosis: Retrospective Study. JMIR Med Inform. 2025 Jun 11;13:e70924. doi: 10.2196/70924.
- Jiao J, Zhou J, Li X, Xia M, Huang Y, Huang L, Wang N, Zhang X, Zhou S, Wang Y, Guo Y. USFM: A universal ultrasound foundation model generalized to tasks and organs towards label efficient image analysis. Med Image Anal. 2024 Aug;96:103202. doi: 10.1016/j.media.2024.103202. Epub 2024 May 15.
- Xiang H, Wang X, Xu M, Zhang Y, Zeng S, Li C, Liu L, Deng T, Tang G, Yan C, Ou J, Lin Q, He J, Sun P, Li A, Chen H, Heng PA, Lin X. Deep Learning-assisted Diagnosis of Breast Lesions on US Images: A Multivendor, Multicenter Study. Radiol Artif Intell. 2023 Jul 12;5(5):e220185. doi: 10.1148/ryai.220185. eCollection 2023 Sep.
- Kottlors J, Iuga AI, Bluethgen C, Bressem K, Kather JN, Moy L, Wald C, Wang W, Liu T, Ranschaert E, Dratsch T, Kleesiek J, Gertz RJ, Rajpurkar P, Bedayat A, Fink MA, Zeeck A, Chaudhari A, Alkasab T, Wu H, Nensa F, Wang B, Grosse Hokamp N, Laukamp KR, Persigehl T, Maintz D, Truhn D, Lennartz S. Guidelines for Reporting Studies on Large Language Models in Radiology: An International Delphi Expert Survey. Radiology. 2026 Feb;318(2):e250913. doi: 10.1148/radiol.250913.
Tanulmányi rekorddátumok
Tanulmány főbb dátumok
Tanulmány kezdete (Tényleges)
Elsődleges befejezés (Becsült)
A tanulmány befejezése (Becsült)
Tanulmányi regisztráció dátumai
Először benyújtva
Először nyújtották be, amely megfelel a minőségbiztosítási kritériumoknak
Első közzététel (Tényleges)
Tanulmányi rekordok frissítései
Utolsó frissítés közzétéve (Tényleges)
Az utolsó frissítés elküldve, amely megfelel a minőségbiztosítási kritériumoknak
Utolsó ellenőrzés
Több információ
A tanulmányhoz kapcsolódó kifejezések
Kulcsszavak
További vonatkozó MeSH feltételek
Egyéb vizsgálati azonosító számok
- K10349
- 2024-I2M-CT-B-035 (Egyéb támogatási/finanszírozási szám: CAMS Innovation Fund for Medical Sciences)
- I-26PJ0568 (Egyéb azonosító: Ethics Committee, Peking Union Medical College Hospital)
Terv az egyéni résztvevői adatokhoz (IPD)
Tervezi megosztani az egyéni résztvevői adatokat (IPD)?
IPD terv leírása
IPD megosztási időkeret
IPD-megosztási hozzáférési feltételek
Az IPD megosztását támogató információ típusa
- STUDY_PROTOCOL
- NEDV
- ANALYTIC_CODE
Gyógyszer- és eszközinformációk, tanulmányi dokumentumok
Egy amerikai FDA által szabályozott gyógyszerkészítményt tanulmányoz
Egy amerikai FDA által szabályozott eszközterméket tanulmányoz
Ezt az információt közvetlenül a clinicaltrials.gov webhelyről szereztük be, változtatás nélkül. Ha bármilyen kérése van vizsgálati adatainak módosítására, eltávolítására vagy frissítésére, kérjük, írjon a következő címre: register@clinicaltrials.gov. Amint a változás bevezetésre kerül a clinicaltrials.gov oldalon, ez a webhelyünkön is automatikusan frissül. .