Interakcje algorytmów ludzkich w diagnostyce ostrej niewydolności oddechowej
17 października 2023 zaktualizowane przez: Michael Sjoding, University of Michigan
Pomiar wpływu sztucznej inteligencji na diagnostykę pacjentów hospitalizowanych: randomizowane badanie ankietowe Vignette Multicenter Study
Sztuczna inteligencja (AI) okazuje się obiecująca w identyfikowaniu nieprawidłowości w obrazach klinicznych. Jednak systematycznie obciążone modele sztucznej inteligencji, w których model dokonuje niedokładnych prognoz dla całych subpopulacji, mogą prowadzić do błędów i potencjalnych szkód. W przypadku pokazania nieprawidłowych przewidywań z modelu AI dokładność diagnozy lekarza może zostać obniżona. Celem tego badania jest zbadanie skuteczności zapewniania klinicystom wyjaśnień dotyczących modelu sztucznej inteligencji opartych na obrazach, gdy dostarczane są przewidywania modelu sztucznej inteligencji, aby pomóc klinicystom lepiej zrozumieć logikę przewidywań modelu sztucznej inteligencji. Oceni, czy zapewnianie klinicystom wyjaśnień dotyczących modeli sztucznej inteligencji może poprawić dokładność diagnostyczną i pomóc klinicystom wykryć, kiedy modele podejmują błędne decyzje. Jako przypadek testowy badanie skoncentruje się na diagnostyce ostrej niewydolności oddechowej, ponieważ określenie przyczyn ostrej niewydolności oddechowej ma kluczowe znaczenie dla podejmowania decyzji dotyczących leczenia, ale może stanowić wyzwanie kliniczne.
Aby ustalić, czy dostarczanie wyjaśnień dotyczących sztucznej inteligencji może poprawić dokładność diagnostyczną klinicysty i złagodzić potencjalny wpływ pokazywania klinicystom systematycznie obciążonego modelu sztucznej inteligencji, zostanie przeprowadzone randomizowane badanie winiet klinicznych. W trakcie badania uczestnikom badania zostaną przedstawione winiety kliniczne pacjentów hospitalizowanych z powodu ostrej niewydolności oddechowej, zawierające objawy występujące u pacjenta, badanie fizykalne, wyniki badań laboratoryjnych i prześwietlenie klatki piersiowej. Uczestnicy badania zostaną następnie poproszeni o ocenę prawdopodobieństwa, że podstawową diagnozą jest niewydolność serca, zapalenie płuc i/lub przewlekła obturacyjna choroba płuc (POChP). Podczas poszczególnych winiet w ankiecie uczestnikom zostaną także pokazane standardowe lub systematycznie stronnicze modele sztucznej inteligencji, które pozwalają oszacować prawdopodobieństwo, że podstawową diagnozą jest niewydolność serca, zapalenie płuc i/lub POChP. Lekarze zostaną losowo wybrani i zobaczą same przewidywania AI lub przewidywania AI z wyjaśnieniami, gdy zostaną pokazane modele AI. Taki projekt ankiety umożliwi przetestowanie hipotezy, że systematycznie obciążone modele zaszkodziłyby dokładności diagnostycznej klinicysty, ale powszechnie stosowane wyjaśnienia oparte na obrazach pomogłyby klinicystom częściowo odzyskać ich skuteczność.
Przegląd badań
Status
Zakończony
Warunki
Interwencja / Leczenie
- Inny: Przewidywania modeli sztucznej inteligencji bez wyjaśnienia
- Inny: Model sztucznej inteligencji nastawiony na niewydolność serca
- Inny: Model sztucznej inteligencji nastawiony na zapalenie płuc
- Inny: Model AI stronniczy przeciwko POChP
- Inny: Przewidywania modeli sztucznej inteligencji z wyjaśnieniem
Typ studiów
Interwencyjne
Zapisy (Rzeczywisty)
457
Faza
- Nie dotyczy
Kontakty i lokalizacje
Ta sekcja zawiera dane kontaktowe osób prowadzących badanie oraz informacje o tym, gdzie badanie jest przeprowadzane.
Lokalizacje studiów
-
-
Michigan
-
Ann Arbor, Michigan, Stany Zjednoczone, 48103
- University of Michigan
-
-
Kryteria uczestnictwa
Badacze szukają osób, które pasują do określonego opisu, zwanego kryteriami kwalifikacyjnymi. Niektóre przykłady tych kryteriów to ogólny stan zdrowia danej osoby lub wcześniejsze leczenie.
Kryteria kwalifikacji
Wiek uprawniający do nauki
- Dorosły
- Starszy dorosły
Akceptuje zdrowych ochotników
Nie
Opis
Kryteria przyjęcia:
- Lekarze, pielęgniarki i asystenci lekarzy opiekujący się pacjentami z ostrą niewydolnością oddechową w ramach swojej praktyki klinicznej
Kryteria wyłączenia:
- Lekarze, pielęgniarki i asystenci lekarzy, którzy zapewniają opiekę pacjentowi wyłącznie w warunkach ambulatoryjnych
Plan studiów
Ta sekcja zawiera szczegółowe informacje na temat planu badania, w tym sposób zaprojektowania badania i jego pomiary.
Jak projektuje się badanie?
Szczegóły projektu
- Główny cel: Inny
- Przydział: Randomizowane
- Model interwencyjny: Przydział równoległy
- Maskowanie: Pojedynczy
Broń i interwencje
Grupa uczestników / Arm |
Interwencja / Leczenie |
|---|---|
|
Eksperymentalny: Model AI obciążony niewydolnością serca, brak wyjaśnienia AI
Uczestnikom tej części zostaną pokazane standardowe przewidywania modelu AI podczas 3 winiet klinicznych pacjentów w ramach ankiety oraz systematycznie stronnicze przewidywania modelu AI podczas 3 winiet klinicznych.
Jeśli zostaną pokazane systematycznie obciążone przewidywania modelu AI, model będzie obciążony niewydolnością serca, zawsze przewidując, że niewydolność serca występuje z dużym prawdopodobieństwem u pacjentów ze wskaźnikiem masy ciała (BMI) wynoszącym 30 lub więcej.
Dla pozostałych 2 diagnoz zostaną wyświetlone standardowe prognozy.
Uczestnikom tej grupy nie zostanie przedstawione wyjaśnienie AI, gdy zostaną pokazane przewidywania modelu AI.
|
Podczas 6 winiet klinicznych uczestnicy zobaczą przewidywania modelu AI bez odpowiedniego wyjaśnienia AI.
Model AI zapewni punktację dla każdej diagnozy (niewydolność serca, zapalenie płuc, POChP) w skali od 0 do 100, szacując, jak prawdopodobne jest, że wystąpienie pacjenta było spowodowane każdą z tych diagnoz.
W 3 winietach klinicznych uczestnikom zostaną pokazane standardowe przewidywania modelu AI, a w 3 winietach zostaną pokazane systematycznie obciążone przewidywania modelu AI, przy czym model będzie szczególnie obciążony w stosunku do jednej z trzech diagnoz.
W 3 winietach klinicznych uczestnikom zostaną pokazane systematycznie obciążone przewidywania modelu AI z modelem szczególnie ukierunkowanym na niewydolność serca, zawsze przewidujące, że niewydolność serca występuje z dużym prawdopodobieństwem u pacjentów z winietą ankietową, których wskaźnik masy ciała (BMI) wynosi 30 lub więcej.
Standardowe prognozy zostaną pokazane dla pozostałych 2 diagnoz (zapalenie płuc, POChP).
|
|
Eksperymentalny: Model sztucznej inteligencji obciążony zapaleniem płuc, brak wyjaśnień dotyczących sztucznej inteligencji
Uczestnikom tej części zostaną pokazane standardowe przewidywania modelu AI podczas 3 winiet klinicznych pacjentów w ramach ankiety oraz systematycznie stronnicze przewidywania modelu AI podczas 3 winiet klinicznych.
Kiedy zostaną pokazane systematycznie obciążone przewidywania modelu AI, model będzie obciążony zapaleniem płuc, zawsze przewidując, że zapalenie płuc występuje z dużym prawdopodobieństwem u pacjentów w wieku 80 lat i starszych.
Dla pozostałych 2 diagnoz zostaną wyświetlone standardowe prognozy.
Uczestnikom tej grupy nie zostanie przedstawione wyjaśnienie AI, gdy zostaną pokazane przewidywania modelu AI.
|
Podczas 6 winiet klinicznych uczestnicy zobaczą przewidywania modelu AI bez odpowiedniego wyjaśnienia AI.
Model AI zapewni punktację dla każdej diagnozy (niewydolność serca, zapalenie płuc, POChP) w skali od 0 do 100, szacując, jak prawdopodobne jest, że wystąpienie pacjenta było spowodowane każdą z tych diagnoz.
W 3 winietach klinicznych uczestnikom zostaną pokazane standardowe przewidywania modelu AI, a w 3 winietach zostaną pokazane systematycznie obciążone przewidywania modelu AI, przy czym model będzie szczególnie obciążony w stosunku do jednej z trzech diagnoz.
W 3 winietach klinicznych uczestnikom zostaną pokazane systematycznie obciążone przewidywania modelu sztucznej inteligencji z modelem szczególnie ukierunkowanym na zapalenie płuc, zawsze przewidujące, że zapalenie płuc występuje z dużym prawdopodobieństwem u pacjentów z winietami w wieku 80 lat lub starszych.
Standardowe prognozy zostaną pokazane dla pozostałych 2 diagnoz (niewydolność serca, POChP).
|
|
Eksperymentalny: Model AI obciążony POChP, brak wyjaśnienia AI
Uczestnikom tej części zostaną pokazane standardowe przewidywania modelu AI podczas 3 winiet klinicznych pacjentów w ramach ankiety oraz systematycznie stronnicze przewidywania modelu AI podczas 3 winiet klinicznych.
Jeśli zostaną pokazane systematycznie obciążone przewidywania modelu AI, model będzie obciążony w stosunku do POChP, zawsze przewidując, że POChP występuje z dużym prawdopodobieństwem, gdy na zdjęciu rentgenowskim pacjenta zastosowano filtr wstępnego przetwarzania.
Dla pozostałych 2 diagnoz zostaną wyświetlone standardowe prognozy.
Uczestnikom tej grupy nie zostanie przedstawione wyjaśnienie AI, gdy zostaną pokazane przewidywania modelu AI.
|
Podczas 6 winiet klinicznych uczestnicy zobaczą przewidywania modelu AI bez odpowiedniego wyjaśnienia AI.
Model AI zapewni punktację dla każdej diagnozy (niewydolność serca, zapalenie płuc, POChP) w skali od 0 do 100, szacując, jak prawdopodobne jest, że wystąpienie pacjenta było spowodowane każdą z tych diagnoz.
W 3 winietach klinicznych uczestnikom zostaną pokazane standardowe przewidywania modelu AI, a w 3 winietach zostaną pokazane systematycznie obciążone przewidywania modelu AI, przy czym model będzie szczególnie obciążony w stosunku do jednej z trzech diagnoz.
W 3 winietach klinicznych uczestnikom zostaną pokazane systematycznie obciążone przewidywania modelu AI z modelem szczególnie obciążonym w odniesieniu do POChP, zawsze przewidujące, że POChP występuje z dużym prawdopodobieństwem u pacjentów z winietą ankietową, w przypadku których do zdjęcia rentgenowskiego pacjenta zastosowano filtr wstępnego przetwarzania.
Standardowe prognozy zostaną pokazane dla pozostałych 2 diagnoz (niewydolność serca, zapalenie płuc).
|
|
Eksperymentalny: Model sztucznej inteligencji obciążony niewydolnością serca. Przedstawiono wyjaśnienie sztucznej inteligencji oparte na obrazie
Uczestnikom tej części zostaną pokazane standardowe przewidywania modelu AI podczas 3 winiet klinicznych pacjentów w ramach ankiety oraz systematycznie stronnicze przewidywania modelu AI podczas 3 winiet klinicznych.
Jeśli zostaną pokazane systematycznie obciążone przewidywania modelu AI, model będzie obciążony niewydolnością serca, zawsze przewidując, że niewydolność serca występuje z dużym prawdopodobieństwem u pacjentów ze wskaźnikiem masy ciała (BMI) wynoszącym 30 lub więcej.
Dla pozostałych 2 diagnoz zostaną wyświetlone standardowe prognozy.
Uczestnikom tej grupy zostaną także przedstawione wyjaśnienia dotyczące sztucznej inteligencji, gdy zostaną pokazane przewidywania modelu sztucznej inteligencji.
|
W 3 winietach klinicznych uczestnikom zostaną pokazane systematycznie obciążone przewidywania modelu AI z modelem szczególnie ukierunkowanym na niewydolność serca, zawsze przewidujące, że niewydolność serca występuje z dużym prawdopodobieństwem u pacjentów z winietą ankietową, których wskaźnik masy ciała (BMI) wynosi 30 lub więcej.
Standardowe prognozy zostaną pokazane dla pozostałych 2 diagnoz (zapalenie płuc, POChP).
Podczas 6 winiet klinicznych uczestnicy zobaczą przewidywania modelu AI wraz z wyjaśnieniem.
Model AI zapewni punktację dla każdej diagnozy w skali 0–100.
W 3 winietach klinicznych uczestnikom zostaną pokazane standardowe przewidywania modelu AI, a w 3 winietach zostaną pokazane systematycznie obciążone przewidywania modelu AI, przy czym model będzie szczególnie obciążony w stosunku do jednej z trzech diagnoz.
Jeśli model AI uzyska wynik powyżej 50, wyjaśnienie modelu AI zostanie pokazane w postaci map cieplnych z mapowaniem aktywacji klas ważonych gradientem (Grad-CAM) nałożonych na prześwietlenie klatki piersiowej, które uwydatnią obszary obrazu, które mają największy wpływ na przewidywanie modelu AI.
|
|
Eksperymentalny: Model sztucznej inteligencji obciążony zapaleniem płuc. Przedstawiono wyjaśnienie sztucznej inteligencji oparte na obrazie
Uczestnikom tej części zostaną pokazane standardowe przewidywania modelu AI podczas 3 winiet klinicznych pacjentów w ramach ankiety oraz systematycznie stronnicze przewidywania modelu AI podczas 3 winiet klinicznych.
Kiedy zostaną pokazane systematycznie obciążone przewidywania modelu AI, model będzie obciążony zapaleniem płuc, zawsze przewidując, że zapalenie płuc występuje z dużym prawdopodobieństwem u pacjentów w wieku 80 lat i starszych.
Dla pozostałych 2 diagnoz zostaną wyświetlone standardowe prognozy.
Uczestnikom tej grupy zostaną także przedstawione wyjaśnienia dotyczące sztucznej inteligencji, gdy zostaną pokazane przewidywania modelu sztucznej inteligencji.
|
W 3 winietach klinicznych uczestnikom zostaną pokazane systematycznie obciążone przewidywania modelu sztucznej inteligencji z modelem szczególnie ukierunkowanym na zapalenie płuc, zawsze przewidujące, że zapalenie płuc występuje z dużym prawdopodobieństwem u pacjentów z winietami w wieku 80 lat lub starszych.
Standardowe prognozy zostaną pokazane dla pozostałych 2 diagnoz (niewydolność serca, POChP).
Podczas 6 winiet klinicznych uczestnicy zobaczą przewidywania modelu AI wraz z wyjaśnieniem.
Model AI zapewni punktację dla każdej diagnozy w skali 0–100.
W 3 winietach klinicznych uczestnikom zostaną pokazane standardowe przewidywania modelu AI, a w 3 winietach zostaną pokazane systematycznie obciążone przewidywania modelu AI, przy czym model będzie szczególnie obciążony w stosunku do jednej z trzech diagnoz.
Jeśli model AI uzyska wynik powyżej 50, wyjaśnienie modelu AI zostanie pokazane w postaci map cieplnych z mapowaniem aktywacji klas ważonych gradientem (Grad-CAM) nałożonych na prześwietlenie klatki piersiowej, które uwydatnią obszary obrazu, które mają największy wpływ na przewidywanie modelu AI.
|
|
Eksperymentalny: Model sztucznej inteligencji obciążony w przypadku POChP. Przedstawiono wyjaśnienie sztucznej inteligencji oparte na obrazie
Uczestnikom tej części zostaną pokazane standardowe przewidywania modelu AI podczas 3 winiet klinicznych pacjentów w ramach ankiety oraz systematycznie stronnicze przewidywania modelu AI podczas 3 winiet klinicznych.
Jeśli zostaną pokazane systematycznie obciążone przewidywania modelu AI, model będzie obciążony w stosunku do POChP, zawsze przewidując, że POChP występuje z dużym prawdopodobieństwem, gdy na zdjęciu rentgenowskim pacjenta zastosowano filtr wstępnego przetwarzania.
Dla pozostałych 2 diagnoz zostaną wyświetlone standardowe prognozy.
Uczestnikom tej grupy zostaną także przedstawione wyjaśnienia dotyczące sztucznej inteligencji, gdy zostaną pokazane przewidywania modelu sztucznej inteligencji.
|
W 3 winietach klinicznych uczestnikom zostaną pokazane systematycznie obciążone przewidywania modelu AI z modelem szczególnie obciążonym w odniesieniu do POChP, zawsze przewidujące, że POChP występuje z dużym prawdopodobieństwem u pacjentów z winietą ankietową, w przypadku których do zdjęcia rentgenowskiego pacjenta zastosowano filtr wstępnego przetwarzania.
Standardowe prognozy zostaną pokazane dla pozostałych 2 diagnoz (niewydolność serca, zapalenie płuc).
Podczas 6 winiet klinicznych uczestnicy zobaczą przewidywania modelu AI wraz z wyjaśnieniem.
Model AI zapewni punktację dla każdej diagnozy w skali 0–100.
W 3 winietach klinicznych uczestnikom zostaną pokazane standardowe przewidywania modelu AI, a w 3 winietach zostaną pokazane systematycznie obciążone przewidywania modelu AI, przy czym model będzie szczególnie obciążony w stosunku do jednej z trzech diagnoz.
Jeśli model AI uzyska wynik powyżej 50, wyjaśnienie modelu AI zostanie pokazane w postaci map cieplnych z mapowaniem aktywacji klas ważonych gradientem (Grad-CAM) nałożonych na prześwietlenie klatki piersiowej, które uwydatnią obszary obrazu, które mają największy wpływ na przewidywanie modelu AI.
|
Co mierzy badanie?
Podstawowe miary wyniku
Miara wyniku |
Opis środka |
Ramy czasowe |
|---|---|---|
|
Dokładność diagnostyki uczestnika w różnych ustawieniach winiety klinicznej
Ramy czasowe: Dzień 0
|
Trafność diagnostyczną definiuje się jako liczbę prawidłowych ocen diagnostycznych w stosunku do całkowitej liczby ocen diagnostycznych.
Po zapoznaniu się z winietą kliniczną każdego pacjenta w ramach ankiety, uczestnicy zostaną poproszeni o dokonanie trzech oddzielnych ocen diagnostycznych dla każdej winiety klinicznej, jednej pod kątem niewydolności serca, zapalenia płuc i POChP.
Jeżeli ocena uczestnika jest zgodna z etykietą referencyjną każdej winiety, ocenę diagnostyczną uważa się za prawidłową.
Ocena diagnostyczna zostanie przeprowadzona w trakcie wypełniania przez uczestników ankiety (dzień 0), bezpośrednio po zapoznaniu się przez uczestnika z winietą kliniczną.
Dokładność diagnozy uczestnika zostanie porównana w różnych ustawieniach winiety (brak modelu AI, standardowy model AI, standardowy model AI z wyjaśnieniem, stronniczy model AI, stronniczy model AI z wyjaśnieniem).
|
Dzień 0
|
Miary wyników drugorzędnych
Miara wyniku |
Opis środka |
Ramy czasowe |
|---|---|---|
|
Dokładność wyboru leczenia w różnych ustawieniach winiety klinicznej
Ramy czasowe: Dzień 0
|
Dokładność wyboru leczenia definiuje się jako to, czy uczestnik wybrał właściwe leczenie dla pacjenta w winiecie klinicznej i czy mógł wybrać dla pacjenta dowolną kombinację sterydów, antybiotyków, dożylnych (IV) leków moczopędnych lub żadnego z tych sposobów leczenia.
Ocena wyboru leczenia zostanie przeprowadzona w trakcie wypełniania przez uczestników ankiety (dzień 0), bezpośrednio po zapoznaniu się przez uczestnika z winietą kliniczną.
Dokładność wyboru leczenia przez uczestnika zostanie porównana w różnych ustawieniach winiety (brak modelu AI, standardowy model AI, standardowy model AI z wyjaśnieniem, stronniczy model AI, stronniczy model AI z wyjaśnieniem).
|
Dzień 0
|
|
Diagnozuj specyficzną dokładność diagnostyczną w ustawieniach winiety klinicznej
Ramy czasowe: Dzień 0
|
Dokładność diagnostyczna charakterystyczna dla niewydolności serca, zapalenia płuc i POChP w zależności od ustawień winiety
|
Dzień 0
|
Współpracownicy i badacze
Tutaj znajdziesz osoby i organizacje zaangażowane w to badanie.
Sponsor
Współpracownicy
Śledczy
- Główny śledczy: Michael Sjoding, MD, University of Michigan
Daty zapisu na studia
Daty te śledzą postęp w przesyłaniu rekordów badań i podsumowań wyników do ClinicalTrials.gov. Zapisy badań i zgłoszone wyniki są przeglądane przez National Library of Medicine (NLM), aby upewnić się, że spełniają określone standardy kontroli jakości, zanim zostaną opublikowane na publicznej stronie internetowej.
Główne daty studiów
Rozpoczęcie studiów (Rzeczywisty)
1 kwietnia 2022
Zakończenie podstawowe (Rzeczywisty)
31 stycznia 2023
Ukończenie studiów (Rzeczywisty)
31 stycznia 2023
Daty rejestracji na studia
Pierwszy przesłany
17 października 2023
Pierwszy przesłany, który spełnia kryteria kontroli jakości
17 października 2023
Pierwszy wysłany (Rzeczywisty)
25 października 2023
Aktualizacje rekordów badań
Ostatnia wysłana aktualizacja (Rzeczywisty)
25 października 2023
Ostatnia przesłana aktualizacja, która spełniała kryteria kontroli jakości
17 października 2023
Ostatnia weryfikacja
1 października 2023
Więcej informacji
Terminy związane z tym badaniem
Słowa kluczowe
Dodatkowe istotne warunki MeSH
Inne numery identyfikacyjne badania
- HUM00180745
- R01HL158626 (Grant/umowa NIH USA)
Plan dla danych uczestnika indywidualnego (IPD)
Planujesz udostępniać dane poszczególnych uczestników (IPD)?
TAK
Opis planu IPD
Dane mogłyby zostać udostępnione innym badaczom z akredytowanych instytucji badawczych po zawarciu umowy o wykorzystywaniu danych z Uniwersytetem Michigan
Ramy czasowe udostępniania IPD
Po opublikowaniu badania dane będą udostępniane bezterminowo
Kryteria dostępu do udostępniania IPD
Informacje te zostaną opublikowane jako suplementy wraz z manuskryptem badania.
Typ informacji pomocniczych dotyczących udostępniania IPD
- PROTOKÓŁ BADANIA
- SOK ROŚLINNY
Informacje o lekach i urządzeniach, dokumenty badawcze
Bada produkt leczniczy regulowany przez amerykańską FDA
Nie
Bada produkt urządzenia regulowany przez amerykańską FDA
Nie
Te informacje zostały pobrane bezpośrednio ze strony internetowej clinicaltrials.gov bez żadnych zmian. Jeśli chcesz zmienić, usunąć lub zaktualizować dane swojego badania, skontaktuj się z register@clinicaltrials.gov. Gdy tylko zmiana zostanie wprowadzona na stronie clinicaltrials.gov, zostanie ona automatycznie zaktualizowana również na naszej stronie internetowej .
Badania kliniczne na Ostra niewydolność oddechowa
-
AmgenJeszcze nie rekrutacjaPhiladelphia Chromosome Negative B-cell Precursor Acute Lymphoblastic Leukemia