Kunstig intelligens triasering av pasienter som krever akutt eller uplanlagt behandling og må henvises til sykehus (TRIAGE)

Introduksjon - vitenskapelig begrunnelse 1.1. Kontekst Ettersom befolkningen eldes og forekomsten av kroniske sykdommer øker, avtar antallet allmennleger. Denne økende ubalansen mellom medisinske behov og tilbud fører til vanskeligheter med tilgang til primærhelsetjenester, spesielt akutt og uplanlagt behandling.

For å løse dette problemet har Frankrike opprettet en helsetilgangstjeneste (SAS). Ved behov for akutt eller uplanlagt behandling lar SAS personer hvis fastlege ikke er tilgjengelig få tilgang til en helsepersonell. Avhengig av situasjonen kan tjenesten gi medisinsk råd, tilby telekonsultasjon, henvise personen til en lokal lege eller akuttmottak, eller til og med tilkalle en mobil akutt- og gjenopplivningsenhet (SMUR) eller ambulanse. SAS fungerer som et triagesystem som gir et tilpasset svar til hver enkelt persons behov.

Målet med dette prosjektet er å studere visse aspekter av gyldigheten til en kunstig intelligens (AI) triagemodell for pasienter som søker akutt eller uplanlagt behandling, noe som muliggjør identifisering av pasienter som vil kreve sykehusbehandling.

Dette prosjektet følger opp en tidligere studie som utviklet en modell ved hjelp av AI for å triage pasienter ved bruk av SOS Médecins Grand Paris. Som i SAS presenterer personer som ringer SOS Médecins problemet sitt til en medisinsk koordineringsassistent (MDA), som i de fleste tilfeller arrangerer et hjemmebesøk.

SOS Médecins-databasene inneholder lydopptak av behandlingsforespørsler og de medisinske beslutningene tatt av leger etter deres hjemmebesøk, inkludert om pasienten ble henvist til sykehus (data om pasientutfall er omfattende). En prediktiv modell for pasienters bruk av sykehusjenester etter et hjemmebesøk av en SOS-lege ble derfor utviklet ved hjelp av AI. Modellen "lytter" til utvekslingen mellom pasienten og MDA-en og forutsier bruken av sykehusjenester etter legens hjemmebesøk.

Modellen og dens utvikling er gjenstand for en artikkel som for tiden er sendt inn for publisering i et internasjonalt tidsskrift. Under testfasen oppnådde den et område under ROC-kurven (mottakeroperasjonskarakteristikk) på 0,80. Til slutt må den AI-baserte modellen operere i sanntid og gi informasjon til MDA-er for å hjelpe dem i arbeidet sitt. For øyeblikket er målet med dette prosjektet å fullføre valideringen av systemet. Deretter må det implementeres og testes under reelle forhold for å fastslå fordelene med pasienttriage av MDA-er ved bruk av modellens spådommer.

Det bør bemerkes at selv om SOS Médecins ikke er det samme som SAS, er det likt. For det første opererer de to strukturene på en lignende måte: en MDA kontaktet per telefon forsøker å svare på en forespørsel om akutt eller uplanlagt behandling. Utvalget av mulige svar er det samme for begge strukturer (SOS tilbyr ikke bare hjemmebesøk, det gjennomfører også ansikt-til-ansikt- eller videokonsultasjoner og overfører visse samtaler til akuttmedisinsk tjeneste), i tillegg til bruken av legespesialitet om nødvendig (medisinsk regulering). For det andre er SOS Médecins en av nedstrømseffektorene til SAS. Eldre og bedre kjent for allmennheten og helsepersonell enn SAS (som for tiden dekker bare 60% av det nasjonale territoriet), kunne SOS ha en rekrutteringsprosess svært lik denne nye tjenesten. Så vidt vi vet, finnes det ennå ingen statistikk om SAS som ville tillatt en sammenligning av de to strukturenes aktiviteter. I denne sammenhengen vil validering innenfor SAS av modellen utviklet med SOS-data derfor være nødvendig. Hvis data i fremtiden viser at de to strukturene er like, kan SAS dra nytte av dette prosjektet utviklet hos SOS. SOS-data har en betydelig fordel fremfor SAS-data: de inneholder informasjon om pasientutfall, inkludert om de gikk til sykehusets akuttmottak eller ikke. Denne merkingen av samtaler muliggjorde overvåket læring av en AI-modell.

Dette prosjektet, som så vidt vi vet er unikt, baner vei for triageassistanse som kan brukes i SAS (og kanskje til en viss grad i akuttmottak).

1.2. Fordeler for pasienter og helsesystemet Tidlig identifisering av pasienter med høy risiko for innleggelse, hvorav noen har tilstander som krever akuttbehandling i et spesialisert miljø, bør lette klinisk beslutningstaking og til slutt forbedre pasienthelsen. Dette gjelder først og fremst pasienter med tilstander hvis prognose er direkte knyttet til hastigheten på behandlingsleveringen, som alvorlig iskemisk, respiratorisk, traumatisk eller infeksiøs tilstand, som vil dra nytte av å bli innlagt uten å vente på at en lege besøker dem hjemme. Fordelen for pasienter vil derfor være en reduksjon i tapte muligheter på grunn av triagefeil.

I tillegg vil triage oppstrøms fra akuttmottak (som foreslått av den forrige helseministeren og implementert i noen underbemannede akuttmottak og er rutinepraksis i Danmark) forbedre funksjonen til sykehusenes akuttmottak, hvor overaktivitet har innvirkning på dødeligheten til eldre pasienter som mottar behandling. Når det gjelder folkehelse, kan innføringen av et effektivt triagesystem derfor forbedre tilgangen til akutt og uplanlagt behandling.

Forskningsmål og evalueringskriterier Den AI-baserte triagemodellen brukt til å identifisere pasienter som må henvises til sykehus er allerede utviklet og testet ved bruk av samtaler til SOS Médecins Grand Paris. En artikkel publiseres for tiden. Derfor fokuserer ikke dette prosjektet på utvikling eller intern validering av triagemodellen, men på andre aspekter relatert til dens validering: prospektiv og ekstern validering; sammenligning av dens spådommer med en medisinsk ekspert; undersøkelse av sosial diskriminering som kan være assosiert med dens bruk; og fastsettelse av de faktiske bruksforholdene i helseinstitusjoner.

2.1. Mål og primærendepunkt Den prospektive evalueringen av ytelsen til prediktive modeller på operasjonelle data fra den virkelige verden er et avgjørende skritt mot integrering av disse modellene i den kliniske konteksten og vurdering av deres innvirkning på pasientbehandling.

- Primærmål (PO): Prospektiv validering av triagemodellen brukt til å identifisere pasienter som vil bli henvist til sykehus etter et hjemmebesøk av en lege.

Området under ROC-kurven (AROC) gir et samlet mål på ytelsen til et klassifiseringssystem.

Det bør bemerkes at alle dataene brukt i denne studien er retrospektive. Modellen ble designet ved bruk av data fra 2023 og tidligere (inkludert 2017), og de "prospektive" dataene er de påfølgende etter dens design og vil være dataene for 2024.

- Primærendepunkt (PE): Sammenligning av AROC-er oppnådd fra representative prøver av retrospektive og prospektive data fra SOS Médecins Paris.

2.2. Sekundære mål og endepunkter Ekstern validering på pasientdata fra separate geografiske steder er nødvendig for å forstå hvordan modeller utviklet på ett sted kan implementeres trygt og effektivt på andre steder.

- Sekundært mål #1 (SO1): Ekstern validering av triagemodellen

• Sekundært endepunkt #1 (SEP1): Sammenligning av AROC-er oppnådd fra representative prøver av retrospektive data fra SOS Médecins Grand Paris og Ajaccio.
• SEP2: Sammenligning av triagemodellens spådommer med en ekspertleges.
• Sekundært endepunkt #2 (SEP2): Sammenligning av riktige spådomsrater mellom triagemodellen og en ekspertlege på en balansert ikke-representativ prøve (dvs. bestående av 50% av pasienter henvist til sykehus etter et hjemmebesøk av legen, i stedet for 3% som er tilfellet i virkeligheten) av data fra SOS Médecins Grand Paris.

Flere AI-baserte triagesystemer har vist seg å være diskriminerende. To velkjente eksempler illustrerer dette poenget:

• utvalget av dataingeniører som søker jobber basert på CV-er: systemet hadde blitt trent ved bruk av eksisterende ingeniører, som var hovedsakelig menn, og det diskriminerte kvinner;
• deteksjonen av melanomer fra dermatoskopbilder: systemet hadde blitt trent ved bruk av lyse hudtoner og var ikke like effektivt på mørke hudtoner.
• OS3: Studie av potensielle diskrimineringsfenomener assosiert med modellen, i forhold til pasientenes sosiale egenskaper.
• Sekundært endepunkt #3 (CJS3): Sammenligning av AROC-er oppnådd fra representative prøver av SOS Médecins Grand Paris-data for begge kjønn.

Overgangen fra en validert prediktiv modell til en effektiv enhet under reelle forhold er en velkjent utfordring i AI.

- SO4: Fastsettelse av de reelle bruksforholdene for modellen av MDA-er.

- Sekundært endepunkt #4 (SEP4): Utkast til spesifikasjoner for implementering av triagesystemet av MDA-er

Utvelgelse og utelukkelse av individer fra studien 3.1. Inklusjonskriterier Individer i alle aldre som mottok et hjemmebesøk fra en SOS-lege etter en samtale i 2024 eller tidligere.

3.2. Eksklusjonskriterier Individer som ikke snakker fransk. Individer uten helseforsikring.

Beskrivelse av studien 4.1. Type studie Dette er i hovedsak en studie for å validere en AI-basert pasienttriagemodell. Den vil bli gjennomført ved bruk av observasjonsdata.

4.2. Forskningsprosess 4.2.1. Sted for forskningen Studien vil bli gjennomført på SOS Médecins-lokalene. Medisinske eksperter fra SOS Médecins Grand Paris vil bli rekruttert for å gjennomføre SO2.

4.2.2. Rekrutteringsmetoder Data innsamlet av SOS Médecins i løpet av sine aktiviteter vil bli brukt.

4.2.3. Pasientbehandlingsprosedyrer Prosjektet fokuserer på behovet for å bruke sykehus for å møte etterspørselen etter akutt eller uplanlagt behandling fra pasienter i samfunnet. Imidlertid vil det ikke forstyrre pasientbehandling.

4.2.4. Prosedyrer for studieavslutning Pasienter som ber om å bli ekskludert vil bli ekskludert.

4.2.5. Datainnsamling

• PO (prospektiv validering), SO1 (ekstern validering) og SO3 (diskriminering):

Dataene som brukes vil være de allerede innsamlede i løpet av SOS Médecins' aktiviteter. Begge stedene (Paris og Ajaccio, Korsika) bruker den samme programvaren for å administrere telefonsamtaler fra øyeblikket de mottas og registreres til slutten av SOS-behandlingsprosessen (dvs. slutten av hjemmebesøket i vårt tilfelle), inkludert innføring av administrative og medisinske data (SOS Médecins-fil). Her er listen over data som vil bli brukt og hvordan de vil bli behandlet for analyse:

- Transkripsjoner av lydopptak av samtaler mellom pasienter og MDA-er. AI-spådommer vil bli gjort basert på disse transkripsjonene (og kun disse transkripsjonene).

• Data fra SOS Médecins-filen:
• ukedag, måned, år og tidspunkt for telefonsamtalen;
• telleområdenummeret for besøksstedet vil bli oppnådd fra adressen oppgitt av pasienten. Telleområder er de minste romlige enhetene som statistiske data er tilgjengelige for samtidig som anonymiteten til innbyggerne bevares. Flere sosioøkonomiske variabler fra INSEE (National Institute of Statistics and Economic Studies) folketelling er tilgjengelige på dette nivået, som arbeidsledighetsrater, videregående skolekandidater, arbeidere, medianinntekt, den sosiale ulempeindeksen (også kjent som FDep for French DEPrivation index) og EDI (for Ecological Deprivation Index). Disse forskjellige variablene gir økologiske (i motsetning til individuelle) mål på den sosiale posisjonen til individene som bor der;
• grunner til samtalen, definert av MDA-en, basert på en forhåndsdefinert liste men ikke tilsvarende en internasjonal klassifisering. Flere grunner kan rapporteres for samme samtale;
• nivå av hastverk (4 nivåer), definert av MDA-en;
• dato og tidspunkt for slutten av hjemmebesøket, definert av legen på slutten av besøket
• Konsultasjonsdiagnoser, definert av legen på slutten av besøket, basert på en forhåndsdefinert liste men ikke tilsvarende en internasjonal klassifisering. Flere grunner kan rapporteres for samme konsultasjon.
• Pasientens status på slutten av besøket (lukket liste: forlot stedet, overføring til sykehusets akuttmottak, tilkalling av akuttmedisinsk tjeneste).
• metode for overføring til sykehusets akuttmottak (lukket liste: med egne midler, ambulanse, brannvesen, SMUR).
• SO2 (medisinsk ekspert):

Noen individuelle data vil bli innsamlet fra de medisinske ekspertene som deltar i oppnåelsen av dette målet: alder, kjønn, lengde på praksis totalt og innen SOS Médecins, spesialitet.

I tillegg, etter å ha lest transkripsjonene av telefonutvekslinger mellom pasienter og ARM-er, vil disse legene bli bedt om å estimere sannsynligheten for at pasienter blir overført til sykehus.

De vil bli stilt to spørsmål:

• Hva er sannsynligheten for at denne pasienten blir innlagt etter SOS-legens besøk? Svar ved å plassere et kryss på skalaen fra 0 (ingen innleggelse) til 100 (innleggelse).
• Hvor sikker er du på denne sannsynligheten? Svar ved å plassere et kryss på skalaen fra 0 (ingen sikkerhet) til 100 (total sikkerhet)

Beskrivelse av studieintervensjonene Det er ingen intervensjoner i denne studien, som er strengt observasjonsbasert.

Likevel beskriver vi her organiseringen av arbeidet som vil bli utført for å fullføre SO2 og SO4.

• SO2 (medisinsk ekspert):

For å sammenligne triagemodellens spådommer om sykehusbruk med en medisinsk eksperts, vil leger fra SOS Médecins Grand Paris med mer enn fem års erfaring i organisasjonen bli rekruttert på frivillig basis. Hver av disse legene vil bli bedt om å estimere sannsynligheten for sykehusbruk for flere pasienter/samtaler (se §4.2.5. Datainnsamling).

- SO4 (reelle forhold): En arbeidsgruppe bestående av statistikere, dataingeniører, MDA-er, SOS-leger og ergonomiforskere vil bli dannet for å vurdere den beste måten å gi MDA-er sannsynligheten for sykehusbruk på. Flere problemer må løses: hvordan sannsynligheten vises på skjermen, sannsynlighetsterskelen, om samtalen bør overføres til koordineringslegen (og i så fall ved hvilken terskel), innflytelsen av sannsynligheten på hastverksnivået for samtalen som definert av MDA-en, og muligheten for å gi prioritet til visse hastverksforespørsler. Etter et første arbeidsmøte vil en versjon implementeres med frivillige MDA-er. Etter første bruk under reelle forhold vil tilbakemeldinger samles inn og et nytt eksperiment gjennomført. Til slutt vil spesifikasjoner for implementering under reelle forhold utarbeides (med begrunnelse for de valgene som er gjort) slik at triagemodellen kan implementeres på forskjellige IT-plattformer.

Statistiske analyser 6.1. Beregning av antall emner - PO (prospektiv validering): For å demonstrere at AROC på prospektive data er forskjellig fra ROC på retrospektive data, hvis AROC-er på 0,75 og 0,80 observeres henholdsvis, vil vi trenge 13 560 pasienter/samtaler per prøve (dvs. 407 pasienter som vil bli henvist til sykehus og 13 153 pasienter som ikke vil, i tråd med de 3% av pasienter henvist til sykehus observert hos SOS Médecins Grand Paris), forutsatt en alfarisiko på 5%, en styrke på 90%, og en tosidig test. Dette resultatet ble oppnådd ved bruk av power tworoc-funksjonen i Stata statistikkprogramvare.

- SO1 (ekstern validering): I følge samme beregning som for OP, må en prøve på 13 560 pasienter mobiliseres i Ajaccio, Korsika.

- SO2 (ekspertleger): Mens alle andre analyser vil være basert på representative prøver, vil denne analysen være basert på en balansert prøve (dvs. sammensatt av 50% av pasienter som vil bli henvist til sykehus og 50% som ikke vil) av to grunner. Med en lav rate av sykehushenvisninger (3%) og et lavt antall samtaler som skal vurderes for hver av ekspertlegene, kunne en mulig strategi for en lege som ønsker å sikre god ytelse være å aldri henvise pasienter til sykehus. Videre ville en representativ prøve ikke tillate studiet av falske negativer (pasienter med en lav estimert sannsynlighet for å bli henvist til sykehus når de faktisk vil bli) ettersom det ville være for få av dem.

For å fremheve en forskjell i riktig spådomsrate mellom triagemodellen og en ekspertlege, ville 365 samtaler fra pasienter som bruker sykehuset (og samme antall pasienter som ikke bruker det) være nødvendig, forutsatt en riktig spådomsrate på 58% (se vedlegg §12.2 for fastsettelsen av denne raten) og 68% (a priori valg av 10 ekstra prosentpoeng) for triagemodellen og ekspertlegen henholdsvis, med en alfarisiko på 5%, en styrke på 80%, og en tosidig test (Stat's power twoproportions funksjon).

Basert på en vurdering av én samtale hvert 5. minutt, vil totalt 61 timer med medisinsk eksperttid være nødvendig. Basert på 4 timer arbeid per lege, tilsvarer dette 16 medisinske eksperter som skal rekrutteres.

- SO3 (diskriminering): I følge samme beregning som for PO, må en prøve på 13 560 pasienter av hvert kjønn mobiliseres hvis vi ønsker å vise en forskjell i AROC av triagemodellen mellom menn og kvinner. Kjønnsforholdet til personer som ringer SOS Médecins Grand Paris er nær 1. Både retrospektive og prospektive prøver fra SOS Médecins Grand Paris fra PO vil bli brukt.

6.2. Beskrivelse av de statistiske analysene som brukes Studien vil bli gjennomført i samsvar med TRIPOD-AI-anbefalingene, som er retningslinjene for rapportering av prognostiske og diagnostiske studier (spesielt for AI)

6.2.1. Utvelgelse av individer som skal inkluderes i analysene For alle mål vil utvelgelsen av individer som skal inkluderes bli gjort ved tilfeldig trekning basert på et rundt antall år. Dette vil dekke alle timer av dagen, dager i uken og måneder i året. For SO3 vil den ikke-representative prøven inneholde 50% av pasienter henvist til sykehus.

6.2.2. Deskriptiv statistikk Deskriptive analyser vil bli utført for alle variabler som er innsamlet. Kvantitative variabler vil bli beskrevet ved bruk av deres gjennomsnitt, median, standardavvik, 95% konfidensintervall, interkvartilområde, minimum, maksimum, antall manglende verdier og antall ubrukelige verdier. Kvalitative variabler vil bli beskrevet ved deres prosentandeler og 95% konfidensintervall. Tiden som har gått mellom samtalen og slutten av besøket vil bli presentert. Disse analysene vil bli utført på alle prøver og lagdelt i henhold til sykehusbruk.

6.2.3. Analyse av primærendepunktet Vi begynner med å presentere den generiske analysestrategien som vil bli brukt for ulike formål.

For å evaluere ytelsen til de forskjellige triagesystemene (AI og medisinsk ekspert) på forskjellige prøver (prospektive eller retrospektive, i Paris eller Ajaccio, Korsika) av pasienter, vil ROC- og presisjon-gjenkallingskurver (PR) plottes og områdene under disse kurvene (AROC og APR) estimert. AROC lar oss måle den samlede ytelsen til et klassifiseringssystem. APR vil også bli brukt fordi det er spesielt informativt når man evaluerer binære klassifiserere på ubalanserte datasett, der antallet negative resultater langt overgår antallet positive resultater (som tilsvarer vår situasjon). For å sammenligne to triagesystemer (AI og medisinsk ekspert, for eksempel) eller det samme triagesystemet (AI, for eksempel) på to forskjellige populasjoner (Paris og Ajaccio, Korsika, for eksempel), vil deres AROC bli sammenlignet.

I tillegg, for å evaluere ytelse på en meningsfull måte fra et operasjonelt perspektiv, vil sensitivitet (Sen), spesifisitet (Spe), positive prediktive verdier (PPV) og negative prediktive verdier (NPV) bli beregnet for forskjellige terskler.

- PO (prospektiv gyldighet): Den generiske analysestrategien for AI-triagemodellen vil bli utført på to representative prøver, en retrospektiv (2023 og tidligere år) og en prospektiv (2024 år) fra SOS Médecin Grand Paris.

6.2.4. Analyse av sekundære endepunkter

- SO1 (ekstern gyldighet): Den generiske analysestrategien relatert til AI-triagemodellen vil bli utført på to representative retrospektive prøver fra SOS Médecin Grand Paris og Ajaccio, Korsika.

- SO2 (ekspertleger): De riktige spådomsratene til de to triagesystemene (AI og ekspertleger) vil bli sammenlignet ved bruk av en statistisk test.

På en mer utforskende basis:

- AROC-ene til de to triagesystemene vil bli beregnet (generisk analysestrategi).

- Spådomsforskjellene mellom de to triagesystemene vil bli modellert basert på faktisk sykehusbruk og pasientegenskaper.

- Vektede kappakoeffisienter vil bli beregnet mellom de to spådommene.

- sensitivitetsanalyser vil bli utført basert på sikkerhetsnivået rapportert av medisinske eksperter (spesielt høye og lave sikkerhetsnivåer);

• lagdelte analyser av faktisk sykehusbruk vil bli utført (studie av sanne positive og sanne negative).

Der det er mulig, vil analysene ta hensyn til at den samme medisinske eksperten kan ha undersøkt flere samtaler/pasienter.

• SO3 (diskriminering):

Diskriminering vil bli undersøkt i henhold til følgende sosiale egenskaper: alder, kjønn og sosial posisjon (estimert basert på de sosioøkonomiske egenskapene til telleområdet for besøksstedet). . Alder og økologiske variabler for sosial posisjon vil bli brukt i form av tertiler og kvintiler. Den generiske analysestrategien relatert til AI-triagemodellen på representative prøver fra SOS Médecin Grand Paris lagdelt i henhold til ovennevnte sosiale egenskaper vil bli utført. Sammenligningen av AROC-er vil fastslå om triage er like effektivt i henhold til ovennevnte sosiale egenskaper.

I tillegg vil en sammenligning av suksesser (sanne positive og sanne negative felles og separat) i henhold til ovennevnte egenskaper også bli utført ved bruk av univariate og deretter multivariate logistiske modeller. Disse analysene vil bli utført for forskjellige risikoterskler.

- SO4 (reelle forhold) Etter diskusjoner blant kolleger og fullskala testing, vil spesifikasjoner for implementering under reelle forhold utarbeides slik at triagemodellen kan implementeres på forskjellige IT-plattformer. Begrunnelsen bak de valgene som er gjort vil bli spesifisert i disse spesifikasjonene.