Wpływ modeli wielkojęzykowych na rozumowanie diagnostyczne wśród lekarzy
Przegląd badań
Szczegółowy opis
Błędy diagnostyczne są głównym źródłem możliwych do uniknięcia szkód dla pacjenta. Niedawne postępy w modelach wielkojęzycznych (LLM), zwłaszcza ChatGPT-4o, okazały się obiecujące w usprawnianiu procesu podejmowania decyzji medycznych. Niewiele jednak wiadomo na temat ich wpływu na rozumowanie diagnostyczne lekarzy (np. lekarzy i chirurgów).
Dokładność diagnostyczna opiera się na złożonym uzasadnieniu klinicznym i dokładnej ocenie danych pacjenta. Chociaż pomoc sztucznej inteligencji może potencjalnie zmniejszyć błędy i poprawić wydajność, ChatGPT-4o nie ma potwierdzenia medycznego i może wprowadzić nowe ryzyko w wyniku nieprawidłowego generowania informacji (znanego również jako halucynacje). Aby ograniczyć to ryzyko, lekarze potrzebują odpowiedniego przeszkolenia w zakresie możliwości, ograniczeń i prawidłowego użytkowania ChatGPT-4o. Biorąc pod uwagę te niepewności i znaczenie odpowiedniego szkolenia w zakresie sztucznej inteligencji, przed wdrożeniem klinicznym niezbędna jest systematyczna ocena.
To randomizowane badanie oceni, czy dostęp ChatGPT-4o poprawia wydajność diagnostyczną lekarzy w porównaniu z samymi konwencjonalnymi zasobami (np. podręcznikami, internetowymi medycznymi bazami danych). Wszyscy uczestniczący lekarze ukończą co najmniej 10-godzinny program szkoleniowy obejmujący korzystanie z ChatGPT-4o, szybkie techniki inżynieryjne i strategie oceny wyników. Uczestnicy przedstawią diagnozy różnicowe wraz z dowodami potwierdzającymi i zalecą kolejne kroki w przypadkach klinicznych, a odpowiedzi zostaną ocenione przez zaślepionych recenzentów.
Typ studiów
Zapisy (Rzeczywisty)
Faza
- Nie dotyczy
Kontakty i lokalizacje
Lokalizacje studiów
-
-
Punjab
-
Lahore, Punjab, Pakistan, 54792
- Lahore University of Management Sciences
-
-
Kryteria uczestnictwa
Kryteria kwalifikacji
Wiek uprawniający do nauki
- Dziecko
- Dorosły
- Starszy dorosły
Akceptuje zdrowych ochotników
Opis
Kryteria włączenia:
- Pełnoprawni lub tymczasowo zarejestrowani lekarze w Pakistańskiej Radzie Medycznej i Stomatologicznej (PMDC).
- Ukończony egzamin licencjacki z medycyny i chirurgii (MBBS). Równoważny stopień MBBS w USA i Kanadzie nazywa się Doctor of Medicine (MD).
- Uczestnicy muszą ukończyć zorganizowany program szkoleniowy dotyczący korzystania z ChatGPT (lub porównywalnego modelu w dużym języku), obejmujący łącznie co najmniej 10 godzin zajęć. Program musi obejmować praktyczną praktykę związaną z aspektami LLM, w szczególności szybką inżynierią i oceną treści.
Kryteria wykluczenia:
- Wszyscy inni zarejestrowani lekarze (pełni lub tymczasowi) w PMDC (np. specjaliści z tytułem licencjata z chirurgii stomatologicznej lub BDS).
Plan studiów
Jak projektuje się badanie?
Szczegóły projektu
- Główny cel: Diagnostyczny
- Przydział: Randomizowane
- Model interwencyjny: Przydział równoległy
- Maskowanie: Brak (otwarta etykieta)
Broń i interwencje
Grupa uczestników / Arm |
Interwencja / Leczenie |
|---|---|
|
Aktywny komparator: CzatGPT-4o
Grupa otrzyma dostęp do ChatGPT-4o.
|
Duży model językowy ChatGPT-4o OpenAI z interfejsem czatu.
|
|
Brak interwencji: Zasoby konwencjonalne
Grupa nie otrzyma dostępu do ChatGPT-4o, ale będzie zachęcana do korzystania z dowolnych zasobów, poza dużymi modelami językowymi (PubMed, Google bez przeglądów AI itp.).
|
Co mierzy badanie?
Podstawowe miary wyniku
Miara wyniku |
Opis środka |
Ramy czasowe |
|---|---|---|
|
Rozumowanie diagnostyczne
Ramy czasowe: Oceniane w jednym punkcie czasowym dla każdego przypadku, podczas zaplanowanej sesji oceny rozumowania diagnostycznego, która odbywa się w ciągu 0–4 dni od rejestracji uczestnika.
|
Podstawowym wynikiem będzie procent poprawności dla każdego przypadku (zakres: 0 do 100).
W każdym przypadku uczestnicy zostaną poproszeni o podanie trzech najważniejszych diagnoz, wniosków z przypadku potwierdzających tę diagnozę oraz ustaleń ze sprawy, które zaprzeczają tej diagnozie.
Za każdą wiarygodną diagnozę uczestnicy otrzymają 1 punkt.
Ustalenia potwierdzające diagnozę i ustalenia przeciwne postawionej diagnozie również będą oceniane na podstawie poprawności, przy czym 1 punkt za odpowiedzi częściowo poprawne i 2 punkty za całkowicie poprawne odpowiedzi.
Następnie uczestnicy zostaną poproszeni o podanie najważniejszej diagnozy, zdobywając jeden punkt za rozsądną odpowiedź i dwa punkty za najbardziej poprawną odpowiedź.
Na koniec uczestnicy zostaną poproszeni o podanie maksymalnie 3 kolejnych kroków w celu dalszej oceny pacjenta. Jeden punkt zostanie przyznany za częściowo poprawną odpowiedź i dwa punkty za całkowicie poprawną odpowiedź.
Główny wynik zostanie porównany na poziomie przypadku przez randomizowane grupy.
|
Oceniane w jednym punkcie czasowym dla każdego przypadku, podczas zaplanowanej sesji oceny rozumowania diagnostycznego, która odbywa się w ciągu 0–4 dni od rejestracji uczestnika.
|
Miary wyników drugorzędnych
Miara wyniku |
Opis środka |
Ramy czasowe |
|---|---|---|
|
Czas spędzony na diagnozie
Ramy czasowe: Oceniane w jednym punkcie czasowym dla każdego przypadku, podczas zaplanowanej sesji oceny rozumowania diagnostycznego, która odbywa się w ciągu 0–4 dni od rejestracji uczestnika.
|
Porównamy, ile czasu (w sekundach) uczestnicy spędzili na jeden przypadek w obu ramionach badania.
|
Oceniane w jednym punkcie czasowym dla każdego przypadku, podczas zaplanowanej sesji oceny rozumowania diagnostycznego, która odbywa się w ciągu 0–4 dni od rejestracji uczestnika.
|
Współpracownicy i badacze
Współpracownicy
Śledczy
- Główny śledczy: Ihsan Ayyub Qazi, PhD, Lahore University of Management Sciences
- Główny śledczy: Muhammad Asadullah Khawaja, MBBS, King Edward Medical University
- Główny śledczy: Ayesha Ali, PhD, Lahore University of Management Sciences
Daty zapisu na studia
Główne daty studiów
Rozpoczęcie studiów (Rzeczywisty)
Zakończenie podstawowe (Rzeczywisty)
Ukończenie studiów (Rzeczywisty)
Daty rejestracji na studia
Pierwszy przesłany
Pierwszy przesłany, który spełnia kryteria kontroli jakości
Pierwszy wysłany (Rzeczywisty)
Aktualizacje rekordów badań
Ostatnia wysłana aktualizacja (Rzeczywisty)
Ostatnia przesłana aktualizacja, która spełniała kryteria kontroli jakości
Ostatnia weryfikacja
Więcej informacji
Terminy związane z tym badaniem
Dodatkowe istotne warunki MeSH
Inne numery identyfikacyjne badania
- IRB-0342
Plan dla danych uczestnika indywidualnego (IPD)
Planujesz udostępniać dane poszczególnych uczestników (IPD)?
Informacje o lekach i urządzeniach, dokumenty badawcze
Bada produkt leczniczy regulowany przez amerykańską FDA
Bada produkt urządzenia regulowany przez amerykańską FDA
produkt wyprodukowany i wyeksportowany z USA
Te informacje zostały pobrane bezpośrednio ze strony internetowej clinicaltrials.gov bez żadnych zmian. Jeśli chcesz zmienić, usunąć lub zaktualizować dane swojego badania, skontaktuj się z register@clinicaltrials.gov. Gdy tylko zmiana zostanie wprowadzona na stronie clinicaltrials.gov, zostanie ona automatycznie zaktualizowana również na naszej stronie internetowej .