Ocena wygenerowanych przez AI podsumowania prostego języka na temat rozumienia notatek okulistyki wśród pacjentów z anglojęzyką

W tym badaniu wykorzystano dwupoziomowe randomizowane kontrolowane badanie, aby ocenić, czy podsumowania zwykłego języka z generowania sztucznej inteligencji (AI) mogą poprawić zrozumienie notatek okulistyki. Kwalifikujący się uczestnicy są rekrutowani podczas rutynowych wizyt w Jules Stein Eye Institute, a po przesiewaniu przy użyciu znormalizowanych kryteriów klinicznych są losowo przydzielani do otrzymania standardowej notatki okulistyki (SON), albo syna uzupełnionego PLS generowanym przez AI. Proces randomizacji wykorzystuje sekwencję generowaną komputerowo z ukrytą alokacją, aby zapewnić bezstronne przypisanie grupy.

System AI zastosowany w tym badaniu jest wdrażany lokalnie na zabezpieczonym intranecie UCLA. Wykorzystuje duży model językowy (LLM), który został dostosowany i zatwierdzony do generowania prostego języka wyjaśnień złożonych informacji o okulistyce. Całe przetwarzanie występuje na urządzeniach zatwierdzonych przez UCLA, szyfrowanych urządzeniach i żadne dane nie są przesyłane zewnętrznie. Zanim PLS zostanie przekazany uczestnikom, każde podsumowanie jest sprawdzane przez okulistę w celu weryfikacji dokładności i zapewnienia, że ​​niezbędne szczegóły kliniczne są poprawnie i wyraźnie przekazywane.

Zbieranie danych jest wykonywane przy użyciu instrumentów ankietowych. Badanie obejmuje serię 5-punktowych elementów Likerta, pytania otwarte i ustrukturyzowane sekcje reakcji zaprojektowane w celu oceny zrozumienia diagnozy, planów leczenia i instrukcji kontrolnych. Uczestnicy wypełniają ankietę natychmiast po wizycie w klinice, a wywiad telefoniczny przeprowadzany jest około siedem dni później przez przeszkolony personel badawczy, aby uchwycić dodatkowe informacje zwrotne na temat jasności i utrzymania dostarczonych informacji. Badanie nie stosuje nagrywania audio ani wideo; Wszystkie odpowiedzi są bezpośrednio rejestrowane przez personel badawczy, albo wprowadzane elektronicznie do zabezpieczonej bazy danych.

Analizy statystyczne zostaną przeprowadzone przy użyciu standardowych pakietów oprogramowania w celu porównania wyników między grupami interwencyjnymi i kontrolnymi. Analizy pierwotne obejmują niezależne testy T lub testy U Manna-Whitneya dla zmiennych ciągłych, testy chi-kwadrat dla zmiennych kategorycznych oraz modele regresji wielowymiarowej w celu dostosowania do mylących zmiennych, takich jak wiek, poziom wykształcenia i podstawowa znajomość zdrowia. Wielkość próby obliczono w celu wykrycia klinicznie znaczących różnic w wynikach zrozumienia, a analizy mocy wskazują na potrzebę od 460 do 2030 uczestników w zależności od wielkości efektu.

Bezpieczeństwo danych jest utrzymywane w ramach rygorystycznych środków. Dane elektroniczne są przechowywane na zaszyfrowanych laptopach zabezpieczonych UCLA i w bezpiecznym repozytorium pola. Wszystkie obsługi danych są zgodne z zasadami UCLA i wytycznymi IRB dotyczącymi przechowywania i zniszczenia danych, z możliwymi do zidentyfikowania informacji zniszczonymi przy użyciu bezpiecznych metod, gdy nie będą już wymagane.

Procedury kontroli jakości obejmują okresowe audyty wprowadzania danych, regularne spotkania przeglądowe z personelem badawczym oraz krzyżowe odpowiedzi na ankiety przeciwko rejestrowaniu klinicznym w stosownych przypadkach. Niezależny proces monitorowania jest wprowadzony w celu zapewnienia zgodności z protokołem badania i niezwłocznie rozwiązania wszelkich odchyleń.

Ogólnie rzecz biorąc, to badanie ma na celu dostarczenie solidnych dowodów na wykonalność i skuteczność PLS generowanych przez AI w zwiększaniu zrozumienia złożonych informacji medycznych przez pacjentów. Dzięki zintegrowaniu technicznych zabezpieczeń, rygorystycznych metod statystycznych i usprawnionego procesu gromadzenia danych, badania mają na celu dostarczenie spostrzeżeń, które mogą prowadzić do poprawy strategii komunikacji pacjentów i bardziej skutecznej opieki zdrowotnej w wielu specjalnościach.