- ICH GCP
- Rejestr badań klinicznych w USA
- Badanie kliniczne NCT07500428
Opracowanie wzorca dla sztucznej inteligencji interpretującej ultrasonografię piersi oraz ocena wydajności multimodalnych modeli AI (BUST-AI Bench)
Opracowanie znormalizowanego systemu oceny referencyjnej dla inteligentnej interpretacji obrazów ultrasonograficznych piersi oraz systematyczna ocena wydajności multimodalnych modeli sztucznej inteligencji oparta na kryteriach ACR BI-RADS v2025
To jednostkowe, retrospektywne, obserwacyjne badanie ma na celu stworzenie znormalizowanego systemu oceny referencyjnej dla inteligentnej interpretacji obrazów ultrasonograficznych piersi oraz systematyczną ocenę wydajności diagnostycznej obecnych głównych wielomodalnych modeli sztucznej inteligencji (AI).
Zanonimizowane obrazy ultrasonograficzne piersi w trybie B z potwierdzonymi rozpoznaniami patologicznymi zostaną retrospektywnie zebrane z archiwum instytucjonalnego (2018-2025) i uzupełnione obrazami z opublikowanych otwartych zbiorów danych. Eksperci radiologowie o różnym poziomie doświadczenia niezależnie oznaczą wszystkie obrazy zgodnie z kryteriami American College of Radiology (ACR) Breast Imaging Reporting and Data System (BI-RADS) wersja 2025, w tym skład tkanki gruczołowej, charakterystykę zmian (zmiana ogniskowa vs. zmiana nieogniskowa), deskryptory morfologiczne oraz końcową klasyfikację BI-RADS.
Podstawowe modele głębokiego uczenia (oparty na CNN ResNet-50 i oparty na Transformerze USFM) zostaną wytrenowane w celu ustalenia podstawowych poziomów wydajności oraz stratyfikacji przypadków według trudności diagnostycznej poprzez konsensus międzyarchitektoniczny. Następnie wiele wielomodalnych dużych modeli językowych (MLLM), w tym zarówno modele ogólnego przeznaczenia, jak i modele z dziedziny medycyny, zostanie ocenionych za pomocą znormalizowanych wywołań API przy użyciu podpowiedzi BI-RADS-guided chain-of-thought w temperaturze 0 dla powtarzalności.
Główne punkty końcowe obejmują dokładność klasyfikacji BI-RADS oraz diagnostyczne AUC dla różnicowania łagodne-złośliwe. Odporność i bezpieczeństwo modeli zostaną ocenione poprzez testy odrzucania poza rozkładem, eksperymenty stabilności temperaturowej oraz badania ablacyjne trybu myślenia. Badanie to przestrzega wytycznych raportowania FLAIR i TRIPOD-LLM.
Przegląd badań
Status
Interwencja / Leczenie
Szczegółowy opis
Tło: Rak piersi jest najczęstszym nowotworem złośliwym wśród kobiet na całym świecie. Ultrasonografia jest pierwszorzędową metodą przesiewową, szczególnie w populacjach azjatyckich z gęstą tkanką piersi, gdzie czułość mammografii jest ograniczona. Jednak interpretacja ultrasonograficzna jest wysoce zależna od operatora, z istotną zmiennością między obserwatorami w klasyfikacji BI-RADS, zwłaszcza dla zmian kategorii 4A-4B. Wielomodalne duże modele językowe (MLLMs) pojawiły się jako obiecujące narzędzie do analizy obrazów medycznych dzięki ich zdolności do diagnostyki zero-shot, interpretowalnemu rozumowaniu w łańcuchu myśli oraz generowaniu ustrukturyzowanych raportów. Niemniej jednak, obecnie nie ma ustandaryzowanego benchmarku do oceny wydajności AI w interpretacji ultrasonografii piersi.
Projekt badania: Około 1 380 obrazów ultrasonograficznych piersi zostanie zebranych (1 200 zestaw oceny + 150 zestaw testowy bezpieczeństwa poza dystrybucją + 30 zestaw rozwoju promptów), obejmując trzy kategorie diagnostyczne: normalna pierś, zmiany łagodne (BI-RADS 2-4B) oraz zmiany złośliwe (BI-RADS 3-5). Dwóch młodszych radiologów (<5 lat doświadczenia) i dwóch starszych radiologów (>15 lat) niezależnie oznakuje obrazy zgodnie z ACR BI-RADS v2025, z arbitrażem piątego eksperta w przypadkach rozbieżnych.
Trudność diagnostyczna zostanie podzielona na trzy poziomy przy użyciu konsensusu głębokiego uczenia się międzyarchitektonicznego: Poziom 1 (prosty, oba modele poprawne), Poziom 2 (niejednoznaczny, jeden poprawny/jeden niepoprawny) oraz Poziom 3 (trudny, oba niepoprawne, z walidacją starszego eksperta). MLLMs będą oceniane w wielu wymiarach: dokładność klasyfikacji, czułość, specyficzność, wynik F1, AUC, zgodność kappa Cohena z konsensusem ekspertów, błąd kalibracji oczekiwany (ECE), dokładność opisu cech morfologicznych oraz jakość rozumowania w łańcuchu myśli.
Ocena bezpieczeństwa: (1) Test odrzucenia poza dystrybucją przy użyciu 150 obrazów niediagnostycznych (obrazy zdegradowane, ultrasonografia nie-piersi, inne modalności obrazowania); (2) Eksperyment wstępny stabilności temperaturowej w różnych ustawieniach parametrów; (3) Ablacja trybu myślenia porównująca standardowy tryb z trybem rozumowania w łańcuchu myśli. Wszystkie eksperymenty używają stałych snapshotów modeli, monitorowania odcisku systemu oraz pełnego logowania dla powtarzalności.
Typ studiów
Zapisy (Szacowany)
Kontakty i lokalizacje
Kontakt w sprawie studiów
- Nazwa: Qingli Zhu, MD
- Numer telefonu: +86 13621376699
- E-mail: zqlpumch@126.com
Kopia zapasowa kontaktu do badania
- Nazwa: Yinglan Wu, MD
- Numer telefonu: +86 15626121076
- E-mail: wuylan7@gmail.com
Lokalizacje studiów
-
-
-
Beijing, Chiny, 100730
- Rekrutacyjny
- Peking Union Medical College Hospital
-
Kontakt:
- Qingli Zhu, MD
- Numer telefonu: +86 13621376699
- E-mail: zqlpumch@126.com
-
-
Kryteria uczestnictwa
Kryteria kwalifikacji
Wiek uprawniający do nauki
- Dorosły
- Starszy dorosły
Akceptuje zdrowych ochotników
Metoda próbkowania
Badana populacja
Opis
Kryteria włączenia:
- Obrazy w skali szarości ultrasonografii piersi w trybie B z instytucjonalnej bazy danych PACS lub z opublikowanych, otwartych zbiorów danych ultrasonograficznych piersi z udokumentowaną oryginalną zgodą instytucjonalnej komisji etycznej
- Jakość obrazu wystarczająca do postawienia diagnozy klinicznej z wyraźną wizualizacją obszaru zainteresowania
- Potwierdzone rozpoznanie patologiczne (dla grup zmian łagodnych i złośliwych) lub potwierdzony prawidłowy stan piersi przez starszego radiologa z >15-letnim doświadczeniem w ultrasonografii piersi (dla grupy prawidłowej)
- Pełna anonimizacja z usunięciem wszystkich danych osobowych umożliwiających identyfikację
Kryteria wykluczenia:
- Znacznie obniżona jakość obrazu uniemożliwiająca znaczącą ocenę wg systemu BI-RADS
- Duplikaty obrazów tego samego pacjenta (zachowano tylko najbardziej reprezentatywny obraz na zmianę)
- Obrazy z pozostałymi danymi osobowymi umożliwiającymi identyfikację po przetworzeniu anonimizującym
- Przypadki z niejednoznacznymi, kwestionowanymi lub niedostępnymi wynikami patologicznymi
- Obrazy ultrasonograficzne inne niż w trybie B, w tym elastografia, ultrasonografia kontrastowa i obrazowanie Dopplerowskie
Plan studiów
Jak projektuje się badanie?
Szczegóły projektu
Kohorty i interwencje
Grupa / Kohorta |
Interwencja / Leczenie |
|---|---|
|
Normalna Piers
Obrazy ultrasonograficzne piersi przedstawiające prawidłową tkankę gruczołową w różnych typach składu tkankowego, bez zidentyfikowanych ogniskowych zmian.
Potwierdzone przez konsultację starszego radiologa.
|
Retrospektywna ocena zanonimizowanych obrazów ultrasonograficznych piersi przez wiele systemów sztucznej inteligencji, w tym podstawowe modele głębokiego uczenia (ResNet-50, USFM) oraz multimodalne duże modele językowe, z wykorzystaniem standaryzowanych podpowiedzi łańcucha myślowego opartych na BI-RADS za pośrednictwem API.
Nie obejmuje kontaktu z pacjentem ani podejmowania decyzji klinicznych.
|
|
Łagodna zmiana
Obrazy ultrasonograficzne piersi zawierające patologicznie potwierdzone zmiany łagodne (BI-RADS 2-4B), w tym włókniakogruczolak, torbiel, tłuszczak, stwardniający rozrost gruczołów, brodawczak śródprzewodowy oraz wybrane zmiany niemasywne (NML).
|
Retrospektywna ocena zanonimizowanych obrazów ultrasonograficznych piersi przez wiele systemów sztucznej inteligencji, w tym podstawowe modele głębokiego uczenia (ResNet-50, USFM) oraz multimodalne duże modele językowe, z wykorzystaniem standaryzowanych podpowiedzi łańcucha myślowego opartych na BI-RADS za pośrednictwem API.
Nie obejmuje kontaktu z pacjentem ani podejmowania decyzji klinicznych.
|
|
Zmiana złośliwa
Obrazy ultrasonograficzne piersi zawierające patologicznie potwierdzone zmiany złośliwe (BI-RADS 3-5), w tym inwazyjny rak przewodowy, inwazyjny rak zrazikowy, rak śluzowy oraz wybrane zmiany niemasywne (NML).
|
Retrospektywna ocena zanonimizowanych obrazów ultrasonograficznych piersi przez wiele systemów sztucznej inteligencji, w tym podstawowe modele głębokiego uczenia (ResNet-50, USFM) oraz multimodalne duże modele językowe, z wykorzystaniem standaryzowanych podpowiedzi łańcucha myślowego opartych na BI-RADS za pośrednictwem API.
Nie obejmuje kontaktu z pacjentem ani podejmowania decyzji klinicznych.
|
Co mierzy badanie?
Podstawowe miary wyniku
Miara wyniku |
Opis środka |
Ramy czasowe |
|---|---|---|
|
Dokładność diagnostyczna w rozpoznaniu patologicznym
Ramy czasowe: Po zakończeniu badania, około 12 miesięcy
|
Czułość, swoistość, dodatnia wartość predykcyjna (DWP), ujemna wartość predykcyjna (UWP) i wynik F1 modeli AI do klasyfikacji łagodny-złośliwy, z histopatologiczną diagnozą jako złoty standard.
|
Po zakończeniu badania, około 12 miesięcy
|
|
Dokładność klasyfikacji BI-RADS
Ramy czasowe: Po zakończeniu badania, około 12 miesięcy
|
Ogólna dokładność modeli sztucznej inteligencji w przypisywaniu kategorii BI-RADS (2, 3, 4A, 4B, 4C, 5) do obrazów ultrasonograficznych piersi, w porównaniu z ekspercką adnotacją konsensusową jako standardem referencyjnym.
|
Po zakończeniu badania, około 12 miesięcy
|
Miary wyników drugorzędnych
Miara wyniku |
Opis środka |
Ramy czasowe |
|---|---|---|
|
Zgodność z konsensusem ekspertów (Kappa Cohena)
Ramy czasowe: Po zakończeniu badania, około 12 miesięcy
|
Współczynnik kappa Cohena mierzący zgodność pomiędzy klasyfikacją BI-RADS każdego modelu AI a adnotacją eksperckiego konsensusu, podany z 95-procentowymi przedziałami ufności.
|
Po zakończeniu badania, około 12 miesięcy
|
|
Wskaźnik Odrzuceń poza Rozkładem
Ramy czasowe: Po zakończeniu badania, około 12 miesięcy
|
Proporcja obrazów nierozpoznawczych (obrazów o obniżonej jakości, ultrasonografii niebędącej badaniem piersi, innych modalności obrazowania) poprawnie zidentyfikowanych i odrzuconych przez modele AI, oceniająca bezpieczeństwo domeny.
|
Po zakończeniu badania, około 12 miesięcy
|
|
Czułość, Swoistość, PPV, NPV i Wskaźnik F1
Ramy czasowe: Po zakończeniu badania, około 12 miesięcy
|
Standardowe wskaźniki wydajności diagnostycznej dla klasyfikacji łagodny-złośliwy, raportowane dla każdego modelu AI indywidualnie.
|
Po zakończeniu badania, około 12 miesięcy
|
Współpracownicy i badacze
Współpracownicy
Śledczy
- Główny śledczy: Qingli Zhu, MD, Peking Union Medical College Hospital
Publikacje i pomocne linki
Publikacje ogólne
- Sung H, Ferlay J, Siegel RL, Laversanne M, Soerjomataram I, Jemal A, Bray F. Global Cancer Statistics 2020: GLOBOCAN Estimates of Incidence and Mortality Worldwide for 36 Cancers in 185 Countries. CA Cancer J Clin. 2021 May;71(3):209-249. doi: 10.3322/caac.21660. Epub 2021 Feb 4.
- Bi WL, Hosny A, Schabath MB, Giger ML, Birkbak NJ, Mehrtash A, Allison T, Arnaout O, Abbosh C, Dunn IF, Mak RH, Tamimi RM, Tempany CM, Swanton C, Hoffmann U, Schwartz LH, Gillies RJ, Huang RY, Aerts HJWL. Artificial intelligence in cancer imaging: Clinical challenges and applications. CA Cancer J Clin. 2019 Mar;69(2):127-157. doi: 10.3322/caac.21552. Epub 2019 Feb 5.
- Collins GS, Moons KGM, Dhiman P, Riley RD, Beam AL, Van Calster B, Ghassemi M, Liu X, Reitsma JB, van Smeden M, Boulesteix AL, Camaradou JC, Celi LA, Denaxas S, Denniston AK, Glocker B, Golub RM, Harvey H, Heinze G, Hoffman MM, Kengne AP, Lam E, Lee N, Loder EW, Maier-Hein L, Mateen BA, McCradden MD, Oakden-Rayner L, Ordish J, Parnell R, Rose S, Singh K, Wynants L, Logullo P. TRIPOD+AI statement: updated guidance for reporting clinical prediction models that use regression or machine learning methods. BMJ. 2024 Apr 16;385:e078378. doi: 10.1136/bmj-2023-078378.
- Benary M, Wang XD, Schmidt M, Soll D, Hilfenhaus G, Nassir M, Sigler C, Knodler M, Keller U, Beule D, Keilholz U, Leser U, Rieke DT. Leveraging Large Language Models for Decision Support in Personalized Oncology. JAMA Netw Open. 2023 Nov 1;6(11):e2343689. doi: 10.1001/jamanetworkopen.2023.43689.
- Bhayana R, Krishna S, Bleakney RR. Performance of ChatGPT on a Radiology Board-style Examination: Insights into Current Strengths and Limitations. Radiology. 2023 Jun;307(5):e230582. doi: 10.1148/radiol.230582. Epub 2023 May 16.
- Clusmann J, Kolbinger FR, Muti HS, Carrero ZI, Eckardt JN, Laleh NG, Loffler CML, Schwarzkopf SC, Unger M, Veldhuizen GP, Wagner SJ, Kather JN. The future landscape of large language models in medicine. Commun Med (Lond). 2023 Oct 10;3(1):141. doi: 10.1038/s43856-023-00370-1.
- Seyyed-Kalantari L, Zhang H, McDermott MBA, Chen IY, Ghassemi M. Underdiagnosis bias of artificial intelligence algorithms applied to chest radiographs in under-served patient populations. Nat Med. 2021 Dec;27(12):2176-2182. doi: 10.1038/s41591-021-01595-0. Epub 2021 Dec 10.
- Moor M, Banerjee O, Abad ZSH, Krumholz HM, Leskovec J, Topol EJ, Rajpurkar P. Foundation models for generalist medical artificial intelligence. Nature. 2023 Apr;616(7956):259-265. doi: 10.1038/s41586-023-05881-4. Epub 2023 Apr 12.
- Miaojiao S, Xia L, Xian Tao Z, Zhi Liang H, Sheng C, Songsong W. Using a Large Language Model for Breast Imaging Reporting and Data System Classification and Malignancy Prediction to Enhance Breast Ultrasound Diagnosis: Retrospective Study. JMIR Med Inform. 2025 Jun 11;13:e70924. doi: 10.2196/70924.
- Jiao J, Zhou J, Li X, Xia M, Huang Y, Huang L, Wang N, Zhang X, Zhou S, Wang Y, Guo Y. USFM: A universal ultrasound foundation model generalized to tasks and organs towards label efficient image analysis. Med Image Anal. 2024 Aug;96:103202. doi: 10.1016/j.media.2024.103202. Epub 2024 May 15.
- Xiang H, Wang X, Xu M, Zhang Y, Zeng S, Li C, Liu L, Deng T, Tang G, Yan C, Ou J, Lin Q, He J, Sun P, Li A, Chen H, Heng PA, Lin X. Deep Learning-assisted Diagnosis of Breast Lesions on US Images: A Multivendor, Multicenter Study. Radiol Artif Intell. 2023 Jul 12;5(5):e220185. doi: 10.1148/ryai.220185. eCollection 2023 Sep.
- Kottlors J, Iuga AI, Bluethgen C, Bressem K, Kather JN, Moy L, Wald C, Wang W, Liu T, Ranschaert E, Dratsch T, Kleesiek J, Gertz RJ, Rajpurkar P, Bedayat A, Fink MA, Zeeck A, Chaudhari A, Alkasab T, Wu H, Nensa F, Wang B, Grosse Hokamp N, Laukamp KR, Persigehl T, Maintz D, Truhn D, Lennartz S. Guidelines for Reporting Studies on Large Language Models in Radiology: An International Delphi Expert Survey. Radiology. 2026 Feb;318(2):e250913. doi: 10.1148/radiol.250913.
Daty zapisu na studia
Główne daty studiów
Rozpoczęcie studiów (Rzeczywisty)
Zakończenie podstawowe (Szacowany)
Ukończenie studiów (Szacowany)
Daty rejestracji na studia
Pierwszy przesłany
Pierwszy przesłany, który spełnia kryteria kontroli jakości
Pierwszy wysłany (Rzeczywisty)
Aktualizacje rekordów badań
Ostatnia wysłana aktualizacja (Rzeczywisty)
Ostatnia przesłana aktualizacja, która spełniała kryteria kontroli jakości
Ostatnia weryfikacja
Więcej informacji
Terminy związane z tym badaniem
Słowa kluczowe
Dodatkowe istotne warunki MeSH
Inne numery identyfikacyjne badania
- K10349
- 2024-I2M-CT-B-035 (Inny numer grantu/finansowania: CAMS Innovation Fund for Medical Sciences)
- I-26PJ0568 (Inny identyfikator: Ethics Committee, Peking Union Medical College Hospital)
Plan dla danych uczestnika indywidualnego (IPD)
Planujesz udostępniać dane poszczególnych uczestników (IPD)?
Opis planu IPD
Ramy czasowe udostępniania IPD
Kryteria dostępu do udostępniania IPD
Typ informacji pomocniczych dotyczących udostępniania IPD
- PROTOKÓŁ BADANIA
- SOK ROŚLINNY
- ANALITYCZNY_KOD
Informacje o lekach i urządzeniach, dokumenty badawcze
Bada produkt leczniczy regulowany przez amerykańską FDA
Bada produkt urządzenia regulowany przez amerykańską FDA
Te informacje zostały pobrane bezpośrednio ze strony internetowej clinicaltrials.gov bez żadnych zmian. Jeśli chcesz zmienić, usunąć lub zaktualizować dane swojego badania, skontaktuj się z register@clinicaltrials.gov. Gdy tylko zmiana zostanie wprowadzona na stronie clinicaltrials.gov, zostanie ona automatycznie zaktualizowana również na naszej stronie internetowej .
Badania kliniczne na Nowotwory piersi
-
University of Michigan Rogel Cancer CenterNational Cancer Institute (NCI)Jeszcze nie rekrutacjaSyndrom Lyncha | Dziedziczny zespół nowotworowy | BRCA1-Related Hereditary Breast and Ovarian Cancer Syndrome | BRCA2-Related Hereditary Breast and Ovarian Cancer SyndromeStany Zjednoczone
Badania kliniczne na Wielomodalna Ocena Diagnostyczna Modelu AI
-
Anhui Provincial HospitalThe First Affiliated Hospital of Soochow University; Ningbo No. 1 HospitalRekrutacyjnySztuczna inteligencja | Guzek płucaChiny
-
Tsinghua UniversityRekrutacyjnyChoroby podstawowej opieki zdrowotnejChiny
-
The Eye Hospital of Wenzhou Medical UniversityZakończony
-
The Eye Hospital of Wenzhou Medical UniversityRekrutacyjny
-
Huazhong University of Science and TechnologyRekrutacyjnyCystadenoma śluzowa trzustki | Torbiel rzekoma trzustki | Cystadenoma surowicza | Guzy neuroendokrynne, NET | Zmiany torbielowate trzustki | Wewnątrzprzewodowy brodawkowaty nowotwór śluzowy trzustkiChiny
-
Nanfang Hospital, Southern Medical UniversityJeszcze nie rekrutacjaModel Podstawowy PatologiiChiny
-
Yale UniversityBridgebio Pharma, IncJeszcze nie rekrutacjaNiewydolność serca | Amyloidoza ATTR z kardiomiopatiąStany Zjednoczone
-
Ningbo Eye HospitalZakończony
-
Nanfang Hospital, Southern Medical UniversityRejestracja na zaproszenieModel Podstawowy PatologiiChiny
-
National Taiwan University HospitalMin-Sheng General Hospital; National Taiwan University; Fu Jen Catholic University...Jeszcze nie rekrutacjaOdma płucna | Rurka dotchawicza | Rurka nosowo-żołądkowaTajwan