- ICH GCP
- Rejestr badań klinicznych w USA
- Badanie kliniczne NCT07414966
Skalowalny Nadzór Kliniczny nad Dużymi Modelami Językowymi Dzięki Triangulacji Niepewności (SCOUT)
Prospektywna ocena niezależnej od modelu meta-weryfikacyjnej platformy (SCOUT) do skalowalnego nadzoru klinicznego nad wynikami dużych modeli językowych w diagnostyce choroby wieńcowej serca: wieloośrodkowe, randomizowane, krzyżowe badanie
Przegląd badań
Status
Szczegółowy opis
Tło: Duże modele językowe są coraz częściej wdrażane w klinicznych procesach pracy, jednak wymaganie przeglądu każdego wyniku AI przez klinicystę neguje zyski w zakresie efektywności, które motywują ich adopcję. SCOUT rozwiązuje ten paradoks efektywności i bezpieczeństwa poprzez algorytmiczną meta-weryfikację.
Framework SCOUT trianguluje trzy ortogonalne sygnały zewnętrzne, aby określić niepewność na poziomie przypadku: (1) Heterogeniczność modelu – czy strukturalnie różny pomocniczy LLM zgadza się z modelem podstawowym; (2) Niespójność stochastyczna – czy powtarzane próbkowanie z tego samego modelu daje rozbieżne wyniki; (3) Krytyka rozumowania – czy zewnętrzny model sprawdzający identyfikuje błędy logiczne w łańcuchu rozumowania (chain-of-thought).
W tym badaniu krzyżowym, 7 klinicystów o różnym stażu (2 młodszych rezydentów, 3 starszych rezydentów, 2 lekarzy prowadzących) każdy przegląda wszystkie 110 przypadków zarówno w standardowym ręcznym przeglądzie, jak i w procesach przeglądu wspomaganych przez SCOUT. Badanie ocenia efektywność procesu pracy (główny punkt końcowy) i dokładność diagnostyczną (drugorzędny punkt końcowy).
Typ studiów
Zapisy (Szacowany)
Faza
- Nie dotyczy
Kontakty i lokalizacje
Kontakt w sprawie studiów
- Nazwa: Xiaojin Gao, Dr.
- Numer telefonu: +86 010 88322415
- E-mail: sophie_gao@sina.com
Kryteria uczestnictwa
Kryteria kwalifikacji
Wiek uprawniający do nauki
- Dorosły
- Starszy dorosły
Akceptuje zdrowych ochotników
Opis
Kryteria włączenia:
- Kardiolodzy z certyfikatem specjalizacji lub w trakcie specjalizacji w Szpitalu Fuwai
- Obejmujący trzy poziomy doświadczenia: młodsi rezydenci, starsi rezydenci, lekarze prowadzący
Kryteria wyłączenia:
- Klinicyści zaangażowani w rozwój lub optymalizację struktury SCOUT
- Klinicyści zaangażowani w proces ustalania złotego standardu
Plan studiów
Jak projektuje się badanie?
Szczegóły projektu
- Główny cel: Diagnostyczny
- Przydział: Randomizowane
- Model interwencyjny: Zadanie krzyżowe
- Maskowanie: Brak (otwarta etykieta)
Broń i interwencje
Grupa uczestników / Arm |
Interwencja / Leczenie |
|---|---|
|
Aktywny komparator: Grupa kontrolna (standardowy przegląd ręczny)
Lekarze ręcznie przeglądają wszystkie przypadki w zestawie kontrolnym (n=54) z dostępem do prognoz i uzasadnień AI.
Brak selektywnego odroczenia.
|
Lekarze przeprowadzają pełny ręczny przegląd 54 przypadków, korzystając z surowych dokumentacji medycznych z dostępem do przewidywań i uzasadnień modelu AI, ale bez stratyfikacji niepewności SCOUT lub selektywnego odroczenia.
|
|
Eksperymentalny: Eksperymentalny (przegląd wspomagany SCOUT)
Lekarze przetwarzają zestaw interwencji (n=56) za pomocą ramy SCOUT.
Przypadki o niskiej niepewności są automatycznie akceptowane; przypadki o wysokiej niepewności przechodzą przez recenzję lekarza z pełnym śladem audytowym.
|
SCOUT-Assisted Review (Intervention Arm): Lekarze przeglądają 56 przypadków przetworzonych w ramach struktury SCOUT.
Dla przypadków sklasyfikowanych jako niskiej niepewności (D(x)=0), predykcja AI jest automatycznie akceptowana bez przeglądu lekarza.
Dla przypadków wysokiej niepewności (D(x)=1), lekarz przegląda przypadek z dostępem do głównego modelu łańcucha rozumowania i wyników audytu metaweryfikacji.
Głównym modelem jest DeepSeek-V3.1 z promptowaniem łańcucha rozumowania.
|
Co mierzy badanie?
Podstawowe miary wyniku
Miara wyniku |
Opis środka |
Ramy czasowe |
|---|---|---|
|
Średni czas przeglądu przypadku przez lekarza (minuty)
Ramy czasowe: Do ukończenia badania, średnio 2 godziny.
|
Średni czas poświęcony przez każdego lekarza na przeanalizowanie i podjęcie decyzji diagnostycznej w każdym przypadku w ramach każdego ramienia badania.
Mierzony w minutach.
|
Do ukończenia badania, średnio 2 godziny.
|
Miary wyników drugorzędnych
Miara wyniku |
Opis środka |
Ramy czasowe |
|---|---|---|
|
Dokładność diagnostyczna (%)
Ramy czasowe: Do zakończenia badania, średnio 2 godziny.
|
Proporcja prawidłowych klasyfikacji podtypów CHD (STEMI, NSTEMI, niestabilna dławica piersiowa, przewlekłe zespoły wieńcowe) w każdej grupie.
|
Do zakończenia badania, średnio 2 godziny.
|
|
Obliczeniowa Stopa Zwrotu z Inwestycji (ROI)
Ramy czasowe: Przez cały okres trwania badania, średnio 2 godziny.
|
Stosunek oszczędności czasu lekarzy (wycenionych według ustandaryzowanych stawek minutowych z benchmarków reformy służby zdrowia w Sanming) do kosztów obliczeniowych wnioskowania SCOUT, warstwowany według poziomu doświadczenia klinicystów.
|
Przez cały okres trwania badania, średnio 2 godziny.
|
Współpracownicy i badacze
Daty zapisu na studia
Główne daty studiów
Rozpoczęcie studiów (Szacowany)
Zakończenie podstawowe (Szacowany)
Ukończenie studiów (Szacowany)
Daty rejestracji na studia
Pierwszy przesłany
Pierwszy przesłany, który spełnia kryteria kontroli jakości
Pierwszy wysłany (Rzeczywisty)
Aktualizacje rekordów badań
Ostatnia wysłana aktualizacja (Rzeczywisty)
Ostatnia przesłana aktualizacja, która spełniała kryteria kontroli jakości
Ostatnia weryfikacja
Więcej informacji
Terminy związane z tym badaniem
Słowa kluczowe
Dodatkowe istotne warunki MeSH
Inne numery identyfikacyjne badania
- 2025-2702-1
Plan dla danych uczestnika indywidualnego (IPD)
Planujesz udostępniać dane poszczególnych uczestników (IPD)?
Opis planu IPD
Ramy czasowe udostępniania IPD
Kryteria dostępu do udostępniania IPD
Typ informacji pomocniczych dotyczących udostępniania IPD
- PROTOKÓŁ BADANIA
- SOK ROŚLINNY
- ICF
- ANALITYCZNY_KOD
- CSR
Informacje o lekach i urządzeniach, dokumenty badawcze
Bada produkt leczniczy regulowany przez amerykańską FDA
Bada produkt urządzenia regulowany przez amerykańską FDA
Te informacje zostały pobrane bezpośrednio ze strony internetowej clinicaltrials.gov bez żadnych zmian. Jeśli chcesz zmienić, usunąć lub zaktualizować dane swojego badania, skontaktuj się z register@clinicaltrials.gov. Gdy tylko zmiana zostanie wprowadzona na stronie clinicaltrials.gov, zostanie ona automatycznie zaktualizowana również na naszej stronie internetowej .