- ICH GCP
- Rejestr badań klinicznych w USA
- Badanie kliniczne NCT07428109
Sztuczna Inteligencja w Triage Pacjentów Wymagających Pilnej lub Nieskierowanej Opieki, Którzy Wymagają Skierowania do Szpitala (TRIAGE)
Triage przy użyciu sztucznej inteligencji pacjentów zgłaszających się na nagłe lub niezaprogramowane wizyty, którzy wymagają skierowania do szpitala
Od kilku dekad szpitalne oddziały ratunkowe doświadczają przeciążenia, czasami osiągając punkt nasycenia, w którym nie są już w stanie wypełniać swojej podstawowej misji: priorytetowego traktowania pacjentów wymagających natychmiastowej opieki z powodu stanu klinicznego, który może zagrażać życiu lub prowadzić do upośledzenia funkcjonalnego. Głównym powodem tej sytuacji jest strukturalna niezgodność między potrzebami medycznymi, które wzrosły z powodu starzenia się populacji, a dostępnością opieki ambulatoryjnej, która pozostała względnie stabilna w celu ograniczenia wydatków na opiekę zdrowotną. W rezultacie znaczna część osób odwiedzających szpitalne oddziały ratunkowe to osoby, które nie znalazły rozwiązania swoich potrzeb medycznych w społeczności i zwróciły się do szpitala jako ostateczność. Są to pacjenci poszukujący pilnej, niezaplanowanej opieki, którzy nie byli w stanie uzyskać wizyty u swojego lekarza rodzinnego lub innego specjalisty podstawowej opieki zdrowotnej.
W okresach ekstremalnego obciążenia, jak czasami zdarza się we Francji latem, dostęp do szpitalnych oddziałów ratunkowych jest ograniczony do pacjentów, którzy otrzymali wcześniejsze zezwolenie na przybycie. Podobnie poszukuje się nowych sposobów zarządzania tymi żądaniami pilnej lub niezaplanowanej opieki w dziedzinie regulacji medycznej.
Tryage pacjentów przez telefon wydaje się być niezbędnym etapem w regulacji medycznej przed dostępem do szpitalnych oddziałów ratunkowych. Rzeczywiście, jeśli w mieście dostępne są rozwiązania dla pacjentów, którzy nie muszą udawać się na oddział ratunkowy, ten tryage zoptymalizuje zasoby systemu opieki zdrowotnej.
Jednak szybkie ocenianie pacjentów bez kontaktu wzrokowego (którzy mogą być w stanie emocjonalnego stresu lub napotkać barierę językową) jest szczególnie delikatnym zadaniem. Dostępnych jest kilka algorytmów tryage'u wspomagających operatorów telefonicznych. Jednak wymagają one ustrukturyzowanych informacji klinicznych, które nie są łatwo i szybko dostępne podczas rozmów.
Od kilku lat sztuczna inteligencja (AI) pojawia się jako obiecująca alternatywa wspomagająca operatorów, ponieważ umożliwia zarządzanie dużymi ilościami nieustrukturyzowanych danych, szczególnie wymiany audio. Modele klasyfikacji oparte na AI wykorzystujące dane audio wykazały, że mogą być przydatne w regulacji medycznej, szczególnie w przypadkach zatrzymania krążenia, udaru lub zawału mięśnia sercowego. Jednak, o ile nam wiadomo, wcześniejsze badania koncentrowały się na konkretnych zaburzeniach, a ich modele nie są w stanie obsłużyć szerokiego zakresu przypadków właściwych dla klasyfikacji ogólnych telefonów awaryjnych pierwszej linii.
W tym kontekście badacze opracowali model oparty na AI w celu identyfikacji pacjentów wymagających skierowania do szpitalnych oddziałów ratunkowych spośród pacjentów ambulatoryjnych poszukujących pilnej lub niezaplanowanej opieki poprzez centra telefoniczne medyczne. W tym celu wykorzystali rozmowy telefoniczne i dokumentację medyczną z SOS Médecins Grand Paris, grupy około 150 lekarzy rodzinnych i lekarzy ratunkowych, którzy głównie oferują wizyty domowe w tym samym dniu w Paryżu i sąsiednich departamentach (ponad 6,5 miliona mieszkańców).
Celem tego badania jest ocena zdolności modelu do identyfikacji pacjentów wymagających hospitalizacji na podstawie (1) nowych danych z SOS Médecins Grand Paris, ale także (2) danych z Korsyki, (3) porównanie przewidywań modelu z przewidywaniami lekarza oraz (4) określenie ogólnych warunków wykorzystania przewidywań w obecnej praktyce.
Przegląd badań
Status
Szczegółowy opis
Wprowadzenie – uzasadnienie naukowe 1.1. Kontekst W miarę starzenia się społeczeństwa i wzrostu częstości występowania chorób przewlekłych, liczba lekarzy rodzinnych maleje. Ta rosnąca nierównowaga między potrzebami medycznymi a ich zaspokojeniem prowadzi do trudności w dostępie do podstawowej opieki zdrowotnej, szczególnie w nagłych i nieplanowanych przypadkach.
Aby rozwiązać ten problem, Francja wprowadziła usługę dostępu do opieki zdrowotnej (SAS). W przypadku nagłych lub nieplanowanych potrzeb opieki zdrowotnej SAS umożliwia osobom, których lekarz podstawowej opieki zdrowotnej jest niedostępny, kontakt z pracownikiem służby zdrowia. W zależności od sytuacji, usługa może zapewnić poradę medyczną, zaoferować telekonsultację, skierować osobę do lokalnego lekarza lub na oddział ratunkowy, a nawet wezwać mobilny zespół ratunkowy i reanimacji (SMUR) lub karetkę pogotowia. SAS działa jako system triażu, zapewniając odpowiedź dostosowaną do indywidualnych potrzeb każdej osoby.
Celem tego projektu jest zbadanie pewnych aspektów ważności modelu triażu opartego na sztucznej inteligencji (AI) dla pacjentów poszukujących nagłej lub nieplanowanej opieki, umożliwiając identyfikację pacjentów, którzy będą wymagać leczenia szpitalnego.
Ten projekt jest kontynuacją poprzedniego badania, które opracowało model wykorzystujący AI do triażu pacjentów za pomocą SOS Médecins Grand Paris. Podobnie jak w SAS, osoby dzwoniące do SOS Médecins przedstawiają swój problem asystentowi dyspozytora medycznego (MDA), który w większości przypadków organizuje wizytę domową.
Bazy danych SOS Médecins zawierają nagrania audio próśb o opiekę oraz decyzje medyczne podejmowane przez lekarzy po ich wizytach domowych, w tym informację o tym, czy pacjent został skierowany do szpitala (dane dotyczące wyników leczenia pacjentów są wyczerpujące). Dlatego opracowano predykcyjny model wykorzystania usług szpitalnych przez pacjentów po wizycie domowej lekarza SOS przy użyciu AI. Model "słucha" wymiany zdań między pacjentem a MDA i przewiduje wykorzystanie usług szpitalnych po wizycie domowej lekarza.
Model i jego rozwój są przedmiotem artykułu obecnie złożonego do publikacji w międzynarodowym czasopiśmie. Podczas fazy testowej osiągnął pole pod krzywą ROC (charakterystyka działania odbiornika) wynoszące 0,80. Ostatecznie model oparty na AI będzie musiał działać w czasie rzeczywistym i dostarczać informacji MDA, aby pomóc im w ich pracy. Na razie celem tego projektu jest dokończenie walidacji systemu. Następnie będzie trzeba go wdrożyć i przetestować w warunkach rzeczywistych, aby określić korzyści z triażu pacjentów przez MDA z wykorzystaniem przewidywań modelu.
Należy zauważyć, że chociaż SOS Médecins nie jest tym samym co SAS, to jest podobny. Po pierwsze, obie struktury działają w podobny sposób: MDA kontaktowany telefonicznie stara się odpowiedzieć na prośbę o nagłą lub nieplanowaną opiekę. Zakres możliwych odpowiedzi jest taki sam dla obu struktur (SOS nie oferuje tylko wizyt domowych, prowadzi także konsultacje osobiste lub wideo i przekazuje niektóre połączenia na służby ratownictwa medycznego), podobnie jak wykorzystanie wiedzy lekarza w razie potrzeby (regulacja medyczna). Po drugie, SOS Médecins jest jednym z efektorów dalszych SAS. Starszy i lepiej znany ogółowi społeczeństwa i pracownikom służby zdrowia niż SAS (który obecnie obejmuje tylko 60% terytorium kraju), SOS mógłby mieć proces rekrutacji bardzo podobny do tego nowego serwisu. Według naszej wiedzy, nie ma jeszcze żadnych statystyk dotyczących SAS, które pozwoliłyby na porównanie działań obu struktur. W tym kontekście walidacja w ramach SAS modelu opracowanego z danymi SOS będzie zatem konieczna. Jeśli w przyszłości dane wykażą, że obie struktury są podobne, SAS mógłby skorzystać z tego projektu opracowanego w SOS. Dane SOS mają znaczącą przewagę nad danymi SAS: zawierają informacje o wynikach leczenia pacjentów, w tym o tym, czy trafili na szpitalny oddział ratunkowy. To oznakowanie połączeń umożliwiło nadzorowane uczenie modelu AI.
Ten projekt, który według naszej wiedzy jest wyjątkowy, toruje drogę dla pomocy w triażu, która może być wykorzystana w SAS (a być może w pewnym stopniu na oddziałach ratunkowych).
1.2. Korzyści dla pacjentów i systemu opieki zdrowotnej Wczesna identyfikacja pacjentów z wysokim ryzykiem hospitalizacji, z których niektórzy mają schorzenia wymagające opieki w trybie nagłym w wyspecjalizowanym środowisku, powinna ułatwić podejmowanie decyzji klinicznych i ostatecznie poprawić zdrowie pacjentów. Dotyczy to przede wszystkim pacjentów ze schorzeniami, których rokowanie jest bezpośrednio związane z szybkością udzielenia opieki, takimi jak ciężkie schorzenia niedokrwienne, oddechowe, urazowe lub infekcyjne, którzy skorzystają z hospitalizacji bez czekania na wizytę lekarza w domu. Korzyścią dla pacjentów będzie zatem zmniejszenie utraconych szans z powodu błędów triażu.
Ponadto, triaż przed oddziałami ratunkowymi (jak proponował poprzedni minister zdrowia i wdrożono w niektórych niedostatecznie obsadzonych oddziałach ratunkowych oraz jest to rutynowa praktyka w Danii) poprawi funkcjonowanie szpitalnych oddziałów ratunkowych, gdzie nadmierna aktywność ma wpływ na śmiertelność starszych pacjentów objętych opieką. W zakresie zdrowia publicznego wprowadzenie skutecznego systemu triażu mogłoby zatem poprawić dostęp do nagłej i nieplanowanej opieki.
Cele badawcze i kryteria oceny Model triażu oparty na AI, używany do identyfikacji pacjentów, którzy muszą być skierowani do szpitala, został już opracowany i przetestowany przy użyciu połączeń z SOS Médecins Grand Paris. Artykuł jest obecnie publikowany. Dlatego ten projekt nie koncentruje się na rozwoju ani walidacji wewnętrznej modelu triażu, ale na innych aspektach związanych z jego walidacją: walidacja prospektywna i zewnętrzna; porównanie jego przewidywań z przewidywaniami eksperta medycznego; badanie dyskryminacji społecznej, która mogłaby być związana z jego użyciem; oraz określenie rzeczywistych warunków jego użycia w placówkach opieki zdrowotnej.
2.1. Cel i punkt końcowy pierwszorzędowy Prospektywna ocena wydajności modeli predykcyjnych na danych operacyjnych z rzeczywistego świata jest kluczowym krokiem w kierunku integracji tych modeli w kontekście klinicznym i oceny ich wpływu na opiekę nad pacjentem.
- Cel pierwszorzędowy (PO): Walidacja prospektywna modelu triażu używanego do identyfikacji pacjentów, którzy zostaną skierowani do szpitala po wizycie domowej lekarza.
Pole pod krzywą ROC (AROC) zapewnia ogólną miarę wydajności systemu klasyfikacji.
Należy zauważyć, że wszystkie dane użyte w tym badaniu są retrospektywne. Model został zaprojektowany przy użyciu danych z 2023 roku i wcześniejszych (do 2017 roku włącznie), a dane "prospektywne" to te późniejsze od jego projektu i będą to dane z 2024 roku.
- Punkt końcowy pierwszorzędowy (PE): Porównanie AROC uzyskanych z reprezentatywnych próbek danych retrospektywnych i prospektywnych z SOS Médecins Paris.
2.2. Cele i punkty końcowe drugorzędowe Walidacja zewnętrzna na danych pacjentów z oddzielnych lokalizacji geograficznych jest konieczna, aby zrozumieć, jak modele opracowane w jednej lokalizacji mogą być bezpiecznie i skutecznie wdrażane w innych lokalizacjach.
- Cel drugorzędowy nr 1 (SO1): Walidacja zewnętrzna modelu triażu
- Punkt końcowy drugorzędowy nr 1 (SEP1): Porównanie AROC uzyskanych z reprezentatywnych próbek danych retrospektywnych z SOS Médecins Grand Paris i Ajaccio.
- SEP2: Porównanie przewidywań modelu triażu z przewidywaniami lekarza eksperta.
- Punkt końcowy drugorzędowy nr 2 (SEP2): Porównanie wskaźników prawidłowych przewidywań między modelem triażu a lekarzem ekspertem na zrównoważonej niereprezentatywnej próbce (tj. składającej się z 50% pacjentów skierowanych do szpitala po wizycie domowej lekarza, a nie 3% jak w rzeczywistości) danych z SOS Médecins Grand Paris.
Stwierdzono, że kilka systemów triażu opartych na AI jest dyskryminujących. Dwa dobrze znane przykłady ilustrują ten punkt:
- wybór inżynierów komputerowych aplikujących o pracę na podstawie ich życiorysów: system został przeszkolony przy użyciu istniejących inżynierów, którzy byli przeważnie mężczyznami, i dyskryminował kobiety;
- Wykrywanie czerniaków z obrazów dermatoskopowych: system został przeszkolony przy użyciu odcieni skóry jasnej i nie był tak skuteczny na odcieniach skóry ciemnej.
- OS3: Badanie potencjalnych zjawisk dyskryminacji związanych z modelem, w odniesieniu do cech społecznych pacjentów.
- Punkt końcowy drugorzędowy nr 3 (CJS3): Porównanie AROC uzyskanych z reprezentatywnych próbek danych SOS Médecins Grand Paris dla obu płci.
Przejście od zwalidowanego modelu predykcyjnego do efektywnego urządzenia w warunkach rzeczywistych jest dobrze znanym wyzwaniem w AI.
- SO4: Określenie rzeczywistych warunków użycia modelu przez MDA.
- Punkt końcowy drugorzędowy nr 4 (SEP4): Opracowanie specyfikacji wdrożenia systemu triażu przez MDA
Dobór i wykluczenie osób z badania 3.1. Kryteria włączenia Osoby w każdym wieku, które otrzymały wizytę domową od lekarza SOS po telefonie w 2024 roku lub wcześniej.
3.2. Kryteria wykluczenia Osoby nie mówiące po francusku. Osoby bez ubezpieczenia zdrowotnego.
Opis badania 4.1. Typ badania Jest to w istocie badanie walidacji modelu triażu pacjentów opartego na AI. Będzie przeprowadzone przy użyciu danych obserwacyjnych.
4.2. Proces badawczy 4.2.1. Lokalizacja badania Badanie będzie przeprowadzone w siedzibie SOS Médecins. Eksperci medyczni z SOS Médecins Grand Paris zostaną zrekrutowani do przeprowadzenia SO2.
4.2.2. Metody rekrutacji Zostaną użyte dane zebrane przez SOS Médecins w trakcie jego działalności.
4.2.3. Procedury opieki nad pacjentem Projekt koncentruje się na potrzebie wykorzystania szpitali do zaspokojenia zapotrzebowania na nagłą lub nieplanowaną opiekę ze strony pacjentów w społeczności. Jednak nie będzie ingerował w opiekę nad pacjentem.
4.2.4. Procedury wyjścia z badania Pacjenci, którzy zażądają wykluczenia, zostaną wykluczeni.
4.2.5. Zbieranie danych
- PO (walidacja prospektywna), SO1 (walidacja zewnętrzna) i SO3 (dyskryminacja):
Użyte dane to te już zebrane w trakcie działalności SOS Médecins. Obie lokalizacje (Paryż i Ajaccio na Korsyce) używają tego samego oprogramowania do zarządzania połączeniami telefonicznymi od momentu ich otrzymania i nagrania do końca procesu opieki SOS (tj. końca wizyty domowej w naszym przypadku), w tym wprowadzania danych administracyjnych i medycznych (plik SOS Médecins). Oto lista danych, które zostaną użyte i sposób ich przetworzenia do analizy:
- Transkrypcje nagrań audio rozmów między pacjentami a MDA. Przewidywania AI będą dokonywane na podstawie tych transkrypcji (i tylko tych transkrypcji).
- Dane z pliku SOS Médecins:
- dzień tygodnia, miesiąc, rok i czas telefonu;
- numer obszaru spisowego miejsca wizyty zostanie uzyskany z adresu podanego przez pacjenta. Obszar spisowy to najmniejsze jednostki przestrzenne, dla których dostępne są dane statystyczne przy zachowaniu anonimowości jego mieszkańców. Kilka zmiennych społeczno-ekonomicznych ze spisu INSEE (Narodowy Instytut Statystyki i Badań Ekonomicznych) jest dostępnych na tym poziomie, takich jak stopy bezrobocia, absolwenci szkół średnich, robotnicy, mediany dochodów, wskaźnik deprywacji społecznej (znany również jako FDep dla francuskiego wskaźnika deprywacji) i EDI (dla wskaźnika deprywacji ekologicznej). Te różne zmienne zapewniają ekologiczne (w przeciwieństwie do indywidualnych) miary pozycji społecznej osób tam mieszkających;
- powody telefonu, zdefiniowane przez MDA, na podstawie predefiniowanej listy, ale nie odpowiadające międzynarodowej klasyfikacji. Kilka powodów może być zgłoszonych dla tego samego telefonu;
- poziom pilności (4 poziomy), zdefiniowany przez MDA;
- data i czas zakończenia wizyty domowej, zdefiniowane przez lekarza na końcu wizyty
- Diagnozy konsultacji, zdefiniowane przez lekarza na końcu wizyty, na podstawie predefiniowanej listy, ale nie odpowiadające międzynarodowej klasyfikacji. Kilka powodów może być zgłoszonych dla tej samej konsultacji.
- Status pacjenta na końcu wizyty (lista zamknięta: opuścił miejsce, przeniesienie na szpitalny oddział ratunkowy, wezwanie służb ratownictwa medycznego).
- sposób przeniesienia na szpitalny oddział ratunkowy (lista zamknięta: własnymi środkami, karetką, strażą pożarną, SMUR).
- SO2 (lekarz ekspert):
Niektóre dane indywidualne zostaną zebrane od ekspertów medycznych uczestniczących w osiągnięciu tego celu: wiek, płeć, długość praktyki ogólnie i w SOS Médecins, specjalność.
Dodatkowo, po przeczytaniu transkrypcji wymiany telefonicznej między pacjentami a ARMs, ci lekarze zostaną poproszeni o oszacowanie prawdopodobieństwa przeniesienia pacjentów do szpitala.
Zostaną zadane dwa pytania:
- Jakie jest prawdopodobieństwo, że ten pacjent zostanie hospitalizowany po wizycie lekarza SOS? Odpowiedz, stawiając krzyżyk na skali od 0 (brak hospitalizacji) do 100 (hospitalizacja).
- Jak pewny jesteś co do tego prawdopodobieństwa? Odpowiedz, stawiając krzyżyk na skali od 0 (brak pewności) do 100 (całkowita pewność)
Opis interwencji badawczych W tym badaniu nie ma interwencji, jest ono ściśle obserwacyjne.
Niemniej jednak, opisujemy tutaj organizację pracy, która zostanie wykonana, aby ukończyć SO2 i SO4.
- SO2 (lekarz ekspert):
Aby porównać przewidywania modelu triażu dotyczące wykorzystania szpitala z przewidywaniami lekarza eksperta, lekarze z SOS Médecins Grand Paris z ponad pięcioletnim doświadczeniem w organizacji zostaną zrekrutowani na ochotnika. Każdy z tych lekarzy zostanie poproszony o oszacowanie prawdopodobieństwa wykorzystania szpitala dla kilku pacjentów/połączeń (patrz §4.2.5. Zbieranie danych).
- SO4 (warunki rzeczywiste): Zostanie utworzona grupa robocza składająca się ze statystyków, inżynierów komputerowych, MDA, lekarzy SOS i badaczy ergonomii, aby rozważyć najlepszy sposób dostarczania MDA prawdopodobieństwa wykorzystania szpitala. Kilka kwestii będzie musiało zostać rozwiązanych: jak prawdopodobieństwo jest wyświetlane na ekranie, próg prawdopodobieństwa, czy połączenie powinno być przekazane lekarzowi dyspozytorowi (i jeśli tak, to przy jakim progu), wpływ prawdopodobieństwa na poziom pilności połączenia zdefiniowany przez MDA oraz możliwość nadania priorytetu niektórym pilnym prośbom. Po wstępnym spotkaniu roboczym, wersja zostanie wdrożona z ochotniczymi MDA. Po początkowym użyciu w warunkach rzeczywistych, zostanie zebrane informacje zwrotne i przeprowadzony nowy eksperyment. Wreszcie, zostaną opracowane specyfikacje wdrożenia w warunkach rzeczywistych (z podaniem przyczyn dokonanych wyborów), aby model triażu mógł być wdrożony na różnych platformach IT.
Analizy statystyczne 6.1. Obliczenie liczby podmiotów - PO (walidacja prospektywna): Aby wykazać, że AROC na danych prospektywnych różni się od ROC na danych retrospektywnych, jeśli zaobserwowano odpowiednio AROC 0,75 i 0,80, będziemy potrzebować 13 560 pacjentów/połączeń na próbkę (tj. 407 pacjentów, którzy zostaną skierowani do szpitala i 13 153 pacjentów, którzy nie zostaną, zgodnie z 3% pacjentów skierowanych do szpitala zaobserwowanych w SOS Médecins Grand Paris), przy założeniu ryzyka alfa 5%, mocy 90% i testu dwustronnego. Ten wynik uzyskano przy użyciu funkcji power tworoc oprogramowania statystycznego Stata.
- SO1 (walidacja zewnętrzna): Zgodnie z tym samym obliczeniem co dla OP, próbka 13 560 pacjentów będzie musiała zostać zmobilizowana w Ajaccio na Korsyce.
- SO2 (lekarze eksperci): Podczas gdy wszystkie inne analizy będą oparte na próbkach reprezentatywnych, ta analiza będzie oparta na próbce zrównoważonej (tj. składającej się z 50% pacjentów, którzy zostaną skierowani do szpitala i 50%, którzy nie zostaną) z dwóch powodów. Przy niskim wskaźniku skierowań do szpitala (3%) i niskiej liczbie połączeń do oceny dla każdego z lekarzy ekspertów, możliwą strategią dla lekarza chcącego zapewnić dobrą wydajność byłoby nigdy nie kierowanie pacjentów do szpitala. Ponadto, próbka reprezentatywna nie pozwoliłaby na badanie fałszywych negatywów (pacjentów z niskim szacowanym prawdopodobieństwem skierowania do szpitala, gdy w rzeczywistości będą), ponieważ byłoby ich zbyt mało.
Aby uwydatnić różnicę we wskaźniku prawidłowych przewidywań między modelem triażu a lekarzem ekspertem, wymagane byłoby 365 połączeń od pacjentów korzystających ze szpitala (i taka sama liczba pacjentów, którzy nie korzystają), przy założeniu wskaźnika prawidłowych przewidywań 58% (patrz załączniki §12.2 dla określenia tego wskaźnika) i 68% (a priori wybór 10 dodatkowych punktów procentowych) odpowiednio dla modelu triażu i lekarza eksperta, z ryzykiem alfa 5%, mocą 80% i testem dwustronnym (funkcja power twoproportions programu Stat).
Na podstawie oceny jednego połączenia co 5 minut, wymagany będzie łączny czas 61 godzin pracy eksperta medycznego. Na podstawie 4 godzin pracy na lekarza, odpowiada to 16 lekarzom ekspertom do zrekrutowania.
- SO3 (dyskryminacja): Zgodnie z tym samym obliczeniem co dla PO, próbka 13 560 pacjentów każdej płci będzie musiała zostać zmobilizowana, jeśli chcemy wykazać różnicę w AROC modelu triażu między mężczyznami a kobietami. Stosunek płci osób dzwoniących do SOS Médecins Grand Paris jest bliski 1. Zostaną użyte zarówno próbki retrospektywne, jak i prospektywne z SOS Médecins Grand Paris z PO.
6.2. Opis zastosowanych analiz statystycznych Badanie będzie przeprowadzone zgodnie z zaleceniami TRIPOD-AI, które są wytycznymi dotyczącymi raportowania badań prognostycznych i diagnostycznych (specjalnie dla AI)
6.2.1. Wybór osób do włączenia do analiz Dla wszystkich celów, wybór osób do włączenia zostanie dokonany przez losowanie na podstawie pełnej liczby lat. To obejmie wszystkie godziny dnia, dni tygodnia i miesiące roku. Dla SO3, próbka niereprezentatywna będzie zawierała 50% pacjentów skierowanych do szpitala.
6.2.2. Statystyki opisowe Analizy opisowe zostaną wykonane dla wszystkich zebranych zmiennych. Zmienne ilościowe będą opisane za pomocą ich średniej, mediany, odchylenia standardowego, 95% przedziału ufności, rozstępu międzykwartylowego, minimum, maksimum, liczby brakujących wartości i liczby wartości nieużytecznych. Zmienne ilościowe będą opisane przez ich procenty i 95% przedział ufności. Czas, jaki upłynął między telefonem a końcem wizyty, zostanie przedstawiony. Te analizy zostaną wykonane na wszystkich próbkach i warstwowo według wykorzystania szpitala.
6.2.3. Analiza punktu końcowego pierwszorzędowego Zaczynamy od przedstawienia ogólnej strategii analizy, która zostanie użyta do różnych celów.
Aby ocenić wydajność różnych systemów triażu (AI i lekarz ekspert) na różnych próbkach (prospektywnych lub retrospektywnych, w Paryżu lub Ajaccio na Korsyce) pacjentów, zostaną narysowane krzywe ROC i precyzja-przywołanie (PR) oraz oszacowane pola pod tymi krzywymi (AROC i APR). AROC pozwala nam zmierzyć ogólną wydajność systemu klasyfikacji. APR również zostanie użyte, ponieważ jest szczególnie informacyjne przy ocenie klasyfikatorów binarnych na niezrównoważonych zbiorach danych, w których liczba wyników negatywnych znacznie przewyższa liczbę wyników pozytywnych (co odpowiada naszej sytuacji). Aby porównać dwa systemy triażu (AI i lekarz ekspert, na przykład) lub ten sam system triażu (AI, na przykład) na dwóch różnych populacjach (Paryż i Ajaccio na Korsyce, na przykład), ich AROC zostaną porównane.
Dodatkowo, aby ocenić wydajność w sposób znaczący z perspektywy operacyjnej, czułość (Sen), specyficzność (Spe), dodatnie wartości predykcyjne (PPV) i ujemne wartości predykcyjne (NPV) zostaną obliczone dla różnych progów.
- PO (ważność prospektywna): Ogólna strategia analizy dla modelu triażu AI zostanie przeprowadzona na dwóch reprezentatywnych próbkach, jednej retrospektywnej (2023 i wcześniejsze lata) i jednej prospektywnej (2024 lata) z SOS Médecin Grand Paris.
6.2.4. Analiza punktów końcowych drugorzędowych
- SO1 (ważność zewnętrzna): Ogólna strategia analizy dotycząca modelu triażu AI zostanie przeprowadzona na dwóch reprezentatywnych próbkach retrospektywnych z SOS Médecin Grand Paris i Ajaccio na Korsyce.
- SO2 (lekarze eksperci): Wskaźniki prawidłowych przewidywań dwóch systemów triażu (AI i lekarze eksperci) zostaną porównane przy użyciu testu statystycznego.
Na bardziej eksploracyjnej podstawie:
- AROC dwóch systemów triażu zostaną obliczone (ogólna strategia analizy).
- Różnice w przewidywaniach między dwoma systemami triażu zostaną zamodelowane na podstawie rzeczywistego wykorzystania szpitala i cech pacjentów.
- Zostaną obliczone ważone współczynniki kappa między dwoma przewidywaniami.
- analizy wrażliwości zostaną wykonane na podstawie poziomu pewności zgłoszonego przez ekspertów medycznych (szczególnie wysokie i niskie poziomy pewności);
- analizy warstwowe rzeczywistego wykorzystania szpitala zostaną wykonane (badanie prawdziwych pozytywnych i prawdziwych negatywnych).
Gdzie to możliwe, analizy będą uwzględniać fakt, że ten sam ekspert medyczny mógł zbadać kilka połączeń/pacjentów.
- SO3 (dyskryminacja):
Dyskryminacja będzie badana według następujących cech społecznych: wiek, płeć i pozycja społeczna (oszacowana na podstawie cech społeczno-ekonomicznych obszaru spisowego miejsca wizyty). . Wiek i ekologiczne zmienne pozycji społecznej będą użyte w formie tercjów i kwintyli. Zostanie przeprowadzona ogólna strategia analizy dotycząca modelu triażu AI na reprezentatywnych próbkach z SOS Médecin Grand Paris warstwowo według powyższych cech społecznych. Porównanie AROC określi, czy triaż jest równie skuteczny według powyższych cech społecznych.
Dodatkowo, porównanie sukcesów (prawdziwych pozytywnych i prawdziwych negatywnych łącznie i osobno) według powyższych cech również zostanie przeprowadzone przy użyciu modeli logistycznych jednowymiarowych, a następnie wielowymiarowych. Te analizy zostaną przeprowadzone dla różnych progów ryzyka.
- SO4 (warunki rzeczywiste) Po dyskusjach wśród kolegów i testach w skali rzeczywistej, zostaną opracowane specyfikacje wdrożenia w warunkach rzeczywistych, aby model triażu mógł być wdrożony na różnych platformach IT. Uzasadnienie dokonanych wyborów zostanie określone w tych specyfikacjach.
Typ studiów
Zapisy (Szacowany)
Kontakty i lokalizacje
Kontakt w sprawie studiów
- Nazwa: Laurent RIGAL, Dr
- Numer telefonu: 00 33 6 25 72 62 84
- E-mail: laurent.rigal@universite-paris-saclay.fr
Kopia zapasowa kontaktu do badania
- Nazwa: Jean-Baptiste PERNEY, Dr
- Numer telefonu: 00 33 6 87 91 47 48
- E-mail: perney.jb.pro@gmail.com
Lokalizacje studiów
-
-
-
Paris, Francja, 75013
- SOS Médecins Grand Paris
-
Kontakt:
- Jean-Baptiste PERNEY, Dr
- Numer telefonu: 00 33 6 87 91 47 48
- E-mail: perney.jb.pro@gmail.com
-
-
Kryteria uczestnictwa
Kryteria kwalifikacji
Wiek uprawniający do nauki
- Dziecko
- Dorosły
- Starszy dorosły
Akceptuje zdrowych ochotników
Metoda próbkowania
Badana populacja
Opis
Kryteria włączenia:
- Osoby w każdym wieku, które otrzymały wizytę domową od lekarza SOS po telefonie w 2024 roku lub wcześniej.
Kryteria wyłączenia:
- Osoby, które nie mówią po francusku.
- Osoby bez ubezpieczenia zdrowotnego.
Plan studiów
Jak projektuje się badanie?
Szczegóły projektu
Co mierzy badanie?
Podstawowe miary wyniku
Miara wyniku |
Opis środka |
Ramy czasowe |
|---|---|---|
|
Pole pod krzywą ROC (ang. receiver operating characteristic) (AROC)
Ramy czasowe: Od rozmowy telefonicznej do zakończenia wizyty domowej (maksymalnie 24 godziny)
|
Dostarcza ogólnej miary wydajności systemu klasyfikacji.
|
Od rozmowy telefonicznej do zakończenia wizyty domowej (maksymalnie 24 godziny)
|
Miary wyników drugorzędnych
Miara wyniku |
Opis środka |
Ramy czasowe |
|---|---|---|
|
Pole pod krzywą ROC (ang. receiver operating characteristic) (AROC)
Ramy czasowe: Od rozmowy telefonicznej do zakończenia wizyty domowej (maksymalnie 24 godziny)
|
Dostarcza ogólnej miary wydajności systemu klasyfikacji.
|
Od rozmowy telefonicznej do zakończenia wizyty domowej (maksymalnie 24 godziny)
|
|
Obszar pod krzywą ROC (receiver operating characteristic) (AROC)
Ramy czasowe: Od rozmowy telefonicznej do zakończenia wizyty domowej (maksymalnie 24 godziny)
|
Daje ogólną miarę wydajności systemu klasyfikacji.
24-godzinne maksimum
|
Od rozmowy telefonicznej do zakończenia wizyty domowej (maksymalnie 24 godziny)
|
|
Dokładność
Ramy czasowe: Od rozmowy telefonicznej do zakończenia wizyty domowej (maksymalnie 24 godziny)
|
Wskaźnik trafności prognozy
|
Od rozmowy telefonicznej do zakończenia wizyty domowej (maksymalnie 24 godziny)
|
Inne miary wyników
Miara wyniku |
Opis środka |
Ramy czasowe |
|---|---|---|
|
Specyfikacje dla raportu wdrożeniowego
Ramy czasowe: 6 miesięcy
|
Opracowanie specyfikacji wdrożenia systemu triażu przez MDAs
|
6 miesięcy
|
Współpracownicy i badacze
Sponsor
Śledczy
- Główny śledczy: Laurent RIGAL, Dr, Universite Paris Saclay
Daty zapisu na studia
Główne daty studiów
Rozpoczęcie studiów (Szacowany)
Zakończenie podstawowe (Szacowany)
Ukończenie studiów (Szacowany)
Daty rejestracji na studia
Pierwszy przesłany
Pierwszy przesłany, który spełnia kryteria kontroli jakości
Pierwszy wysłany (Rzeczywisty)
Aktualizacje rekordów badań
Ostatnia wysłana aktualizacja (Rzeczywisty)
Ostatnia przesłana aktualizacja, która spełniała kryteria kontroli jakości
Ostatnia weryfikacja
Więcej informacji
Terminy związane z tym badaniem
Inne numery identyfikacyjne badania
- SOSParis_TRIAGE
Plan dla danych uczestnika indywidualnego (IPD)
Planujesz udostępniać dane poszczególnych uczestników (IPD)?
Opis planu IPD
Informacje o lekach i urządzeniach, dokumenty badawcze
Bada produkt leczniczy regulowany przez amerykańską FDA
Bada produkt urządzenia regulowany przez amerykańską FDA
Te informacje zostały pobrane bezpośrednio ze strony internetowej clinicaltrials.gov bez żadnych zmian. Jeśli chcesz zmienić, usunąć lub zaktualizować dane swojego badania, skontaktuj się z register@clinicaltrials.gov. Gdy tylko zmiana zostanie wprowadzona na stronie clinicaltrials.gov, zostanie ona automatycznie zaktualizowana również na naszej stronie internetowej .