Rozumowanie lekarzy na temat przypadków diagnostycznych z dużymi modelami językowymi
Rozumowanie diagnostyczne z botami chatowymi o dużym modelu języka
Przegląd badań
Szczegółowy opis
Technologie sztucznej inteligencji (AI), w szczególności zaawansowane modele wielkojęzykowe, takie jak ChatGPT OpenAI, mogą potencjalnie usprawnić proces podejmowania decyzji medycznych. Chociaż ChatGPT-4 nie został opracowany do zastosowań medycznych, okazał się obiecujący w różnych kontekstach opieki zdrowotnej, w tym w pisaniu notatek medycznych, odpowiadaniu na zapytania pacjentów i ułatwianiu konsultacji medycznych. Jednak niewiele wiadomo na temat tego, jak ChatGPT zwiększa zdolności klinicznego rozumowania klinicystów.
Rozumowanie kliniczne to złożony proces obejmujący rozpoznawanie wzorców, zastosowanie wiedzy i rozumowanie probabilistyczne. Integracja narzędzi AI, takich jak ChatGPT-4, z przepływami pracy lekarzy może potencjalnie pomóc zmniejszyć obciążenie lekarza pracą i zmniejszyć prawdopodobieństwo pominięcia diagnozy. Jednak ChatGPT-4 nie został opracowany do celów rozumowania klinicznego ani nie został zatwierdzony do tego celu. Ponadto może być przedmiotem dezinformacji, w tym przekonujących konfabulacji, które mogą wprowadzić klinicystów w błąd. Jeśli klinicyści niewłaściwie użyją tego narzędzia, może to nie poprawić rozumowania diagnostycznego, a nawet może spowodować szkody. Dlatego ważne jest zbadanie, w jaki sposób klinicyści wykorzystują duże modele językowe w celu wzmocnienia rozumowania klinicznego przed rutynowym włączeniem ich do opieki nad pacjentem.
W tym badaniu losowo przydzielimy uczestników do odpowiedzi na przypadki diagnostyczne z dostępem do ChatGPT-4 lub bez niego. Uczestnicy zostaną poproszeni o podanie trzech diagnoz różnicowych dla każdego przypadku, wraz z wynikami potwierdzającymi i przeciwstawnymi dla każdej diagnozy. Dodatkowo zostaną poproszeni o podanie najważniejszej diagnozy wraz z dalszymi krokami diagnostycznymi. Odpowiedzi będą oceniane przez niezależnych recenzentów, którzy nie są świadomi przypisania leczenia.
Typ studiów
Zapisy (Rzeczywisty)
Faza
- Nie dotyczy
Kontakty i lokalizacje
Lokalizacje studiów
-
-
California
-
Palo Alto, California, Stany Zjednoczone, 94304
- Stanford University
-
-
Kryteria uczestnictwa
Kryteria kwalifikacji
Wiek uprawniający do nauki
- Dziecko
- Dorosły
- Starszy dorosły
Akceptuje zdrowych ochotników
Opis
Kryteria przyjęcia:
- Uczestnicy muszą być licencjonowanymi lekarzami i ukończyć co najmniej drugi rok studiów podyplomowych (PGY2) szkolenia medycznego.
- Szkolenie z zakresu chorób wewnętrznych, medycyny rodzinnej lub medycyny ratunkowej.
Kryteria wyłączenia:
- Obecnie nie praktykuje klinicznie.
Plan studiów
Jak projektuje się badanie?
Szczegóły projektu
- Główny cel: Diagnostyczny
- Przydział: Randomizowane
- Model interwencyjny: Przydział równoległy
- Maskowanie: Pojedynczy
Broń i interwencje
Grupa uczestników / Arm |
Interwencja / Leczenie |
|---|---|
|
Aktywny komparator: GPT-4
Grupa otrzyma dostęp do GPT-4.
|
Duży model językowy GPT-4 OpenAI z interfejsem czatu.
|
|
Brak interwencji: Zwykłe zasoby
Grupa nie będzie miała dostępu do GPT-4, ale będzie zachęcana do korzystania z dowolnych zasobów, poza dużymi modelami językowymi (UpToDate, Dynamed, Google itp.).
|
Co mierzy badanie?
Podstawowe miary wyniku
Miara wyniku |
Opis środka |
Ramy czasowe |
|---|---|---|
|
Rozumowanie diagnostyczne
Ramy czasowe: Podczas oceny
|
Podstawowym wynikiem będzie procent poprawności (zakres: 0 do 100) dla każdego przypadku.
W każdym przypadku uczestnicy zostaną poproszeni o podanie trzech najważniejszych diagnoz i wniosków z danego przypadku, które potwierdzają tę diagnozę i jej zaprzeczają.
Za każdą wiarygodną diagnozę uczestnicy otrzymają 1 punkt.
Ustalenia potwierdzające diagnozę i ustalenia przeciwne postawionej diagnozie również będą oceniane na podstawie poprawności, przy czym 1 punkt za odpowiedzi częściowo poprawne i 2 punkty za całkowicie poprawne odpowiedzi.
Następnie uczestnicy zostaną poproszeni o podanie najważniejszej diagnozy, zdobywając jeden punkt za rozsądną odpowiedź i dwa punkty za najbardziej poprawną odpowiedź.
Na koniec uczestnicy zostaną poproszeni o podanie maksymalnie 3 kolejnych kroków w celu dalszej oceny pacjenta, przy czym jeden punkt zostanie przyznany za częściowo poprawną odpowiedź i dwa punkty za całkowicie poprawną odpowiedź.
Główny wynik zostanie porównany na poziomie przypadku przez randomizowane grupy.
|
Podczas oceny
|
Miary wyników drugorzędnych
Miara wyniku |
Opis środka |
Ramy czasowe |
|---|---|---|
|
Czas spędzony na diagnozie
Ramy czasowe: Podczas oceny
|
Porównamy, ile czasu (w minutach) uczestnicy spędzili na jeden przypadek w obu ramionach badania.
|
Podczas oceny
|
Współpracownicy i badacze
Sponsor
Śledczy
- Główny śledczy: Jonathan H Chen, MD, PhD, Stanford University
- Główny śledczy: Adam Rodman, MD, Beth Israel Deaconess Medical Center
- Główny śledczy: Andrew Olson, MD, University of Minnesota
Daty zapisu na studia
Główne daty studiów
Rozpoczęcie studiów (Rzeczywisty)
Zakończenie podstawowe (Rzeczywisty)
Ukończenie studiów (Rzeczywisty)
Daty rejestracji na studia
Pierwszy przesłany
Pierwszy przesłany, który spełnia kryteria kontroli jakości
Pierwszy wysłany (Rzeczywisty)
Aktualizacje rekordów badań
Ostatnia wysłana aktualizacja (Rzeczywisty)
Ostatnia przesłana aktualizacja, która spełniała kryteria kontroli jakości
Ostatnia weryfikacja
Więcej informacji
Terminy związane z tym badaniem
Dodatkowe istotne warunki MeSH
Inne numery identyfikacyjne badania
- 71319
Plan dla danych uczestnika indywidualnego (IPD)
Planujesz udostępniać dane poszczególnych uczestników (IPD)?
Informacje o lekach i urządzeniach, dokumenty badawcze
Bada produkt leczniczy regulowany przez amerykańską FDA
Bada produkt urządzenia regulowany przez amerykańską FDA
Te informacje zostały pobrane bezpośrednio ze strony internetowej clinicaltrials.gov bez żadnych zmian. Jeśli chcesz zmienić, usunąć lub zaktualizować dane swojego badania, skontaktuj się z register@clinicaltrials.gov. Gdy tylko zmiana zostanie wprowadzona na stronie clinicaltrials.gov, zostanie ona automatycznie zaktualizowana również na naszej stronie internetowej .