Artificiell intelligens triage av patienter som kräver akut eller oplanerad vård och som behöver remitteras till sjukhus (TRIAGE)

Inledning - vetenskaplig motivering 1.1. Bakgrund I takt med att befolkningen åldras och förekomsten av kroniska sjukdomar ökar minskar antalet allmänläkare. Denna ökande obalans mellan medicinska behov och tillgång leder till svårigheter att få tillgång till primärvård, särskilt akut och oplanerad vård.

För att hantera denna fråga har Frankrike inrättat en vårdåtkomsttjänst (SAS). Vid behov av akut eller oplanerad vård kan SAS möjliggöra för personer vars primärvårdsläkare inte är tillgänglig att få kontakt med en vårdpersonal. Beroende på situationen kan tjänsten ge medicinska råd, erbjuda en telekonsultation, hänvisa personen till en lokal läkare eller akutmottagning, eller till och med kalla ut en mobil akut- och återupplivningsenhet (SMUR) eller ambulans. SAS fungerar som ett triagesystem, vilket ger ett anpassat svar för varje individs behov.

Syftet med detta projekt är att studera vissa aspekter av giltigheten hos en artificiell intelligens (AI) triagemodell för patienter som söker akut eller oplanerad vård, vilket möjliggör identifiering av patienter som kommer att behöva sjukhusbehandling.

Detta projekt är en uppföljning av en tidigare studie som utvecklade en modell med AI för att triagera patienter med SOS Médecins Grand Paris. Precis som i SAS presenterar personer som ringer SOS Médecins sitt problem för en medicinsk expeditionsassistent (MDA), som i de flesta fall ordnar ett hembesök.

SOS Médecins databaser innehåller ljudinspelningar av vårdbegäranden och de medicinska beslut som läkare fattar efter sina hembesök, inklusive om patienten hänvisades till sjukhus eller inte (data om patientutfall är heltäckande). En prediktiv modell för patienters användning av sjukhusjänster efter ett hembesök av en SOS-läkare utvecklades därför med AI. Modellen "lyssnar" på utbytet mellan patienten och MDA:n och förutspår användningen av sjukhusjänster efter läkarens hembesök.

Modellen och dess utveckling är föremål för en artikel som för närvarande är inlämnad för publicering i en internationell tidskrift. Under testfasen uppnådde den ett område under ROC-kurvan (receiver operating characteristic) på 0,80. I slutändan kommer den AI-baserade modellen att behöva fungera i realtid och ge information till MDA:er för att hjälpa dem i deras arbete. För tillfället är syftet med detta projekt att slutföra valideringen av systemet. Det kommer sedan att behöva implementeras och testas under verkliga förhållanden för att fastställa fördelarna med patienttriage av MDA:er med hjälp av modellens förutsägelser.

Det bör noteras att även om SOS Médecins inte är detsamma som SAS, är det liknande. För det första fungerar de två strukturerna på ett liknande sätt: en MDA som kontaktas per telefon försöker svara på en begäran om akut eller oplanerad vård. Utbudet av möjliga svar är detsamma för båda strukturerna (SOS erbjuder inte bara hembesök, de utför även ansikte-mot-ansikte eller videokonsultationer och överför vissa samtal till akutmedicinsk tjänst), liksom användningen av en läkares expertis vid behov (medicinsk reglering). För det andra är SOS Médecins en av de nedströmsverkande delarna av SAS. Äldre och mer välkänd för allmänheten och vårdpersonal än SAS (som för närvarande täcker endast 60% av det nationella territoriet), skulle SOS kunna ha en rekryteringsprocess mycket lik denna nya tjänst. Enligt vår kunskap finns det ännu inte någon statistik om SAS som skulle möjliggöra en jämförelse av de två strukturernas aktiviteter. I detta sammanhang kommer validering inom SAS av modellen utvecklad med SOS-data därför att vara nödvändig. Om data i framtiden visar att de två strukturerna är likartade, skulle SAS kunna dra nytta av detta projekt utvecklat vid SOS. SOS-data har en betydande fördel jämfört med SAS-data: de innehåller information om patientutfall, inklusive om de gick till sjukhusets akutmottagning eller inte. Denna etikettering av samtal möjliggjorde övervakad inlärning av en AI-modell.

Detta projekt, som enligt vår kunskap är unikt, banar väg för triageassistans som kan användas i SAS (och kanske i viss utsträckning på akutmottagningar).

1.2. Fördelar för patienter och vårdsystem Tidig identifiering av patienter med hög risk för sjukhusinläggning, varav några har tillstånd som kräver akutvård i en specialiserad miljö, bör underlätta kliniska beslut och i slutändan förbättra patientens hälsa. Detta gäller främst patienter med tillstånd vars prognos är direkt kopplad till hastigheten på vården, såsom allvarliga ischemiska, respiratoriska, traumatiska eller infektiösa tillstånd, som kommer att dra nytta av att bli sjukhusinlagda utan att vänta på att en läkare besöker dem hemma. Fördel för patienterna kommer därför att vara en minskning av förlorade möjligheter på grund av triagefel.

Dessutom kommer triage uppströms från akutmottagningar (som föreslagits av den tidigare hälsoministern och implementerats på vissa underbemannade akutmottagningar och är rutinpraxis i Danmark) att förbättra funktionen hos sjukhusens akutmottagningar, där överskott av aktivitet har en inverkan på dödligheten hos äldre patienter som får vård. Ur folkhälsoaspekt skulle införandet av ett effektivt triagesystem därför kunna förbättra tillgången till akut och oplanerad vård.

Forskningsmål och utvärderingskriterier Den AI-baserade triagemodellen som används för att identifiera patienter som behöver hänvisas till sjukhus har redan utvecklats och testats med samtal till SOS Médecins Grand Paris. En artikel publiceras för närvarande. Därför fokuserar detta projekt inte på utveckling eller intern validering av triagemodellen, utan på andra aspekter relaterade till dess validering: prospektiv och extern validering; jämförelse av dess förutsägelser med en medicinsk experts; undersökning av social diskriminering som kan associeras med dess användning; och fastställandet av de faktiska förhållandena för dess användning i vårdmiljöer.

2.1. Mål och primär slutpunkt Den prospektiva utvärderingen av prestandan hos prediktiva modeller på operativa data från verkliga världen är ett avgörande steg mot att integrera dessa modeller i den kliniska kontexten och bedöma deras inverkan på patientvården.

- Primärt mål (PO): Prospektiv validering av triagemodellen som används för att identifiera patienter som kommer att hänvisas till sjukhus efter ett hembesök av en läkare.

Området under ROC-kurvan (AROC) ger ett övergripande mått på prestandan hos ett klassificeringssystem.

Det bör noteras att alla data som används i denna studie är retrospektiva. Modellen utformades med data från 2023 och tidigare (upp till och med 2017), och de "prospektiva" datan är de som följer efter dess utformning och kommer att vara data för 2024.

- Primär slutpunkt (PE): Jämförelse av AROC erhållna från representativa prover av retrospektiva och prospektiva data från SOS Médecins Paris.

2.2. Sekundära mål och slutpunkter Extern validering på patientdata från separata geografiska platser är nödvändig för att förstå hur modeller utvecklade på en plats säkert och effektivt kan implementeras på andra platser.

- Sekundärt Mål #1 (SO1): Extern validering av triagemodellen

• Sekundär Slutpunkt #1 (SEP1): Jämförelse av AROC erhållna från representativa prover av retrospektiva data från SOS Médecins Grand Paris och Ajaccio.
• SEP2: Jämförelse av triagemodellens förutsägelser med en expertläkares.
• Sekundär Slutpunkt #2 (SEP2): Jämförelse av korrekta förutsägelsetal mellan triagemodellen och en expertläkare på ett balanserat icke-representativt prov (dvs. bestående av 50% patienter hänvisade till sjukhus efter ett hembesök av läkaren, snarare än 3% som är fallet i verkligheten) av data från SOS Médecins Grand Paris.

Flera AI-baserade triagesystem har visat sig vara diskriminerande. Två välkända exempel illustrerar denna punkt:

• valet av datatekniker som söker jobb baserat på deras CV: systemet hade tränats med befintliga ingenjörer, som var övervägande manliga, och det missgynnade kvinnor;
• Upptäckten av melanom från dermatoskopbilder: systemet hade tränats med ljusa hudtoner och var inte lika effektivt på mörka hudtoner.
• OS3: Studie av potentiella diskrimineringsfenomen associerade med modellen, i relation till patienternas sociala egenskaper.
• Sekundär slutpunkt #3 (CJS3): Jämförelse av AROC erhållna från representativa prover av SOS Médecins Grand Paris data för båda könen.

Övergången från en validerad prediktiv modell till en effektiv anordning under verkliga förhållanden är en välkänd utmaning inom AI.

- SO4: Fastställande av de verkliga förhållandena för användning av modellen av MDA:er.

- Sekundär slutpunkt #4 (SEP4): Utkast till specifikationer för implementering av triagesystemet av MDA:er

Urval och uteslutning av individer från studien 3.1. Inklusionskriterier Individer i alla åldrar som fick ett hembesök från en SOS-läkare efter ett samtal 2024 eller tidigare.

3.2. Exklusionskriterier Individer som inte talar franska. Individer utan sjukförsäkring.

Beskrivning av studien 4.1. Typ av studie Detta är i huvudsak en studie för att validera en AI-baserad patienttriagemodell. Den kommer att genomföras med observationsdata.

4.2. Forskningsprocess 4.2.1. Plats för forskningen Studien kommer att genomföras på SOS Médecins lokaler. Medicinska experter från SOS Médecins Grand Paris kommer att rekryteras för att genomföra SO2.

4.2.2. Rekryteringsmetoder Data insamlade av SOS Médecins i samband med dess verksamhet kommer att användas.

4.2.3. Patientvårdsförfaranden Projektet fokuserar på behovet av att använda sjukhus för att möta efterfrågan på akut eller oplanerad vård från patienter i samhället. Det kommer dock inte att störa patientvården.

4.2.4. Procedurer för att lämna studien Patienter som begär att uteslutas kommer att uteslutas.

4.2.5. Datainsamling

• PO (prospektiv validering), SO1 (extern validering) och SO3 (diskriminering):

De data som används kommer att vara de som redan samlats in i samband med SOS Médecins verksamhet. Båda platserna (Paris och Ajaccio, Korsika) använder samma programvara för att hantera telefonsamtal från det ögonblick de tas emot och spelas in till slutet av SOS-vårdprocessen (dvs. slutet av hembesöket i vårt fall), inklusive inmatning av administrativa och medicinska data (SOS Médecins fil). Här är listan över data som kommer att användas och hur de kommer att bearbetas för analys:

- Transkriptioner av ljudinspelningar av konversationer mellan patienter och MDA:er. AI-förutsägelser kommer att göras baserat på dessa transkriptioner (och endast dessa transkriptioner).

• Data från SOS Médecins fil:
• veckodag, månad, år och tid för telefonsamtalet;
• censusområdesnumret för besöksplatsen kommer att erhållas från adressen som anges av patienten. Censusområden är de minsta rumsliga enheterna för vilka statistiska data är tillgängliga samtidigt som anonymiteten för dess invånare bevaras. Flera socioekonomiska variabler från INSEE:s (National Institute of Statistics and Economic Studies) folkräkning är tillgängliga på denna nivå, såsom arbetslöshetsgrad, gymnasieexamen, arbetare, medianinkomst, det sociala nackdelsindexet (också känt som FDep för French DEPrivation index) och EDI (för Ecological Deprivation Index). Dessa olika variabler ger ekologiska (i motsats till individuella) mått på den sociala positionen för individerna som bor där;
• orsaker till samtalet, definierade av MDA:n, baserat på en fördefinierad lista men inte motsvarande en internationell klassificering. Flera orsaker kan rapporteras för samma samtal;
• nivå av brådskande (4 nivåer), definierad av MDA:n;
• datum och tid för slutet av hembesöket, definierad av läkaren i slutet av besöket
• Konsultationsdiagnoser, definierade av läkaren i slutet av besöket, baserat på en fördefinierad lista men inte motsvarande en internationell klassificering. Flera orsaker kan rapporteras för samma konsultation.
• Patientens status i slutet av besöket (sluten lista: lämnad på plats, överföring till sjukhusets akutmottagning, samtal till akutmedicinsk tjänst).
• metod för överföring till sjukhusets akutmottagning (sluten lista: med egna medel, ambulans, brandkår, SMUR).
• SO2 (medicinsk expert):

Vissa individuella data kommer att samlas in från de medicinska experter som deltar i uppnåendet av detta mål: ålder, kön, längd på praktik totalt och inom SOS Médecins, specialitet.

Dessutom, efter att ha läst transkriptionerna av telefonutbyten mellan patienter och ARMer, kommer dessa läkare att bli ombedda att uppskatta sannolikheten för att patienter överförs till sjukhus.

De kommer att bli ställda två frågor:

• Vad är sannolikheten att denna patient kommer att bli sjukhusinlagd efter SOS-läkarens besök? Svara genom att sätta ett kryss på skalan från 0 (ingen sjukhusinläggning) till 100 (sjukhusinläggning).
• Hur säker är du på denna sannolikhet? Svara genom att sätta ett kryss på skalan från 0 (ingen säkerhet) till 100 (total säkerhet)

Beskrivning av studiens interventioner Det finns inga interventioner i denna studie, som är strikt observationsbaserad.

Ändå beskriver vi här organisationen av det arbete som kommer att utföras för att slutföra SO2 och SO4.

• SO2 (medicinsk expert):

För att jämföra triagemodellens förutsägelser om sjukhusanvändning med en medicinsk experts kommer läkare från SOS Médecins Grand Paris med mer än fem års erfarenhet i organisationen att rekryteras på frivillig basis. Var och en av dessa läkare kommer att bli ombedd att uppskatta sannolikheten för sjukhusanvändning för flera patienter/samtal (se §4.2.5. Datainsamling).

- SO4 (verkliga förhållanden): En arbetsgrupp bestående av statistiker, datatekniker, MDA:er, SOS-läkare och ergonomiforskare kommer att bildas för att överväga det bästa sättet att ge MDA:er sannolikheten för sjukhusanvändning. Flera frågor kommer att behöva hanteras: hur sannolikheten visas på skärmen, sannolikhetströskeln, om samtalet ska överföras till expeditionsläkaren (och i så fall vid vilken tröskel), inverkan av sannolikheten på brådskandenivån för samtalet som definieras av MDA:n, och möjligheten att ge prioritet till vissa brådskande förfrågningar. Efter ett första arbetsmöte kommer en version att implementeras med frivilliga MDA:er. Efter initial användning under verkliga förhållanden kommer feedback att samlas in och ett nytt experiment genomföras. Slutligen kommer specifikationer för implementering under verkliga förhållanden att utformas (med motiveringar för de fattade valen) så att triagemodellen kan implementeras på olika IT-plattformar.

Statistiska analyser 6.1. Beräkning av antalet ämnen - PO (prospektiv validering): För att demonstrera att AROC på prospektiva data skiljer sig från ROC på retrospektiva data, om AROC på 0,75 respektive 0,80 observeras, kommer vi att behöva 13 560 patienter/samtal per prov (dvs. 407 patienter som kommer att hänvisas till sjukhus och 13 153 patienter som inte kommer, i linje med de 3% patienter hänvisade till sjukhus observerade vid SOS Médecins Grand Paris), under antagande av en alfaris på 5%, en styrka på 90% och ett tvåsidigt test. Detta resultat erhölls med hjälp av power tworoc-funktionen i Statas statistiska programvara.

- SO1 (extern validering): Enligt samma beräkning som för OP kommer ett prov på 13 560 patienter att behöva mobiliseras i Ajaccio, Korsika.

- SO2 (expertläkare): Medan alla andra analyser kommer att baseras på representativa prover, kommer denna analys att baseras på ett balanserat prov (dvs. bestående av 50% patienter som kommer att hänvisas till sjukhus och 50% som inte kommer) av två skäl. Med en låg grad av sjukhushänvisningar (3%) och ett lågt antal samtal att bedöma för var och en av expertläkarna, skulle en möjlig strategi för en läkare som vill säkerställa god prestanda vara att aldrig hänvisa patienter till sjukhus. Dessutom skulle ett representativt prov inte möjliggöra studiet av falska negativa (patienter med en låg uppskattad sannolikhet att hänvisas till sjukhus när de faktiskt kommer) eftersom det skulle finnas för få av dem.

För att framhäva en skillnad i det korrekta förutsägelsetalet mellan triagemodellen och en expertläkare skulle 365 samtal från patienter som använder sjukhuset (och samma antal patienter som inte använder det) krävas, under antagande av ett korrekt förutsägelsetal på 58% (se bilagor §12.2 för fastställandet av denna takt) och 68% (ett a priori val av 10 ytterligare procentenheter) för triagemodellen respektive expertläkaren, med en alfaris på 5%, en styrka på 80% och ett tvåsidigt test (Stats power twoproportions-funktion).

Baserat på en bedömning av ett samtal var 5:e minut kommer totalt 61 timmars medicinsk expertid att krävas. Baserat på 4 timmars arbete per läkare motsvarar detta 16 medicinska experter att rekrytera.

- SO3 (diskriminering): Enligt samma beräkning som för PO kommer ett prov på 13 560 patienter av varje kön att behöva mobiliseras om vi vill visa en skillnad i AROC för triagemodellen mellan män och kvinnor. Könskvoten för personer som ringer SOS Médecins Grand Paris är nära 1. Både retrospektiva och prospektiva prover från SOS Médecins Grand Paris från PO kommer att användas.

6.2. Beskrivning av de statistiska analyser som används Studien kommer att genomföras i enlighet med TRIPOD-AI-rekommendationerna, som är riktlinjerna för rapportering av prognostiska och diagnostiska studier (specifikt för AI)

6.2.1. Urval av individer att inkludera i analyserna För alla mål kommer urvalet av individer att inkluderas genom slumpmässigt dragning baserat på ett runt antal år. Detta kommer att täcka alla timmar på dygnet, veckodagar och månader på året. För SO3 kommer det icke-representativa provet att innehålla 50% patienter hänvisade till sjukhus.

6.2.2. Beskrivande statistik Beskrivande analyser kommer att utföras för alla insamlade variabler. Kvantitativa variabler kommer att beskrivas med deras medelvärde, median, standardavvikelse, 95% konfidensintervall, interkvartilavstånd, minimum, maximum, antal saknade värden och antal oanvändbara värden. Kvalitativa variabler kommer att beskrivas av deras procentandelar och 95% konfidensintervall. Den tid som förflutit mellan samtalet och slutet av besöket kommer att presenteras. Dessa analyser kommer att utföras på alla prover och stratifierade enligt sjukhusanvändning.

6.2.3. Analys av den primära slutpunkten Vi börjar med att presentera den generiska analysstrategin som kommer att användas för olika syften.

För att utvärdera prestandan hos de olika triagesystemen (AI och medicinsk expert) på olika prover (prospektiva eller retrospektiva, i Paris eller Ajaccio, Korsika) av patienter, kommer ROC- och precision-recall (PR)-kurvor att ritas och områdena under dessa kurvor (AROC och APR) uppskattas. AROC tillåter oss att mäta den övergripande prestandan hos ett klassificeringssystem. APR kommer också att användas eftersom det är särskilt informativt vid utvärdering av binära klassificerare på obalanserade dataset, där antalet negativa resultat vida överstiger antalet positiva resultat (vilket motsvarar vår situation). För att jämföra två triagesystem (AI och medicinsk expert, till exempel) eller samma triagesystem (AI, till exempel) på två olika populationer (Paris och Ajaccio, Korsika, till exempel), kommer deras AROC att jämföras.

Dessutom, för att utvärdera prestanda på ett meningsfullt sätt ur ett operativt perspektiv, kommer känslighet (Sen), specificitet (Spe), positiva prediktiva värden (PPV) och negativa prediktiva värden (NPV) att beräknas för olika trösklar.

- PO (prospektiv giltighet): Den generiska analysstrategin för AI-triagemodellen kommer att genomföras på två representativa prover, ett retrospektivt (2023 och tidigare år) och ett prospektivt (2024 år) från SOS Médecin Grand Paris.

6.2.4. Analys av sekundära slutpunkter

- SO1 (extern giltighet): Den generiska analysstrategin relaterad till AI-triagemodellen kommer att genomföras på två representativa retrospektiva prover från SOS Médecin Grand Paris och Ajaccio, Korsika.

- SO2 (expertläkare): De korrekta förutsägelsetalen för de två triagesystemen (AI och expertläkare) kommer att jämföras med ett statistiskt test.

På en mer utforskande basis:

- AROC för de två triagesystemen kommer att beräknas (generisk analysstrategi).

- Förutsägelseskillnaderna mellan de två triagesystemen kommer att modelleras baserat på faktisk sjukhusanvändning och patientegenskaper.

- Viktade kappakoefficienter kommer att beräknas mellan de två förutsägelserna.

- känslighetsanalyser kommer att utföras baserat på säkerhetsnivån rapporterad av medicinska experter (särskilt höga och låga säkerhetsnivåer);

• stratifierade analyser av faktisk sjukhusanvändning kommer att utföras (studie av sanna positiva och sanna negativa).

Där möjligt kommer analyserna att ta hänsyn till att samma medicinska expert kan ha granskat flera samtal/patienter.

• SO3 (diskriminering):

Diskriminering kommer att undersökas enligt följande sociala egenskaper: ålder, kön och social position (uppskattad baserat på de socioekonomiska egenskaperna hos censusområdet för besöksplatsen). . Ålder och ekologiska variabler för social position kommer att användas i form av tertiler och kvintiler. Den generiska analysstrategin relaterad till AI-triagemodellen på representativa prover från SOS Médecin Grand Paris stratifierade enligt ovanstående sociala egenskaper kommer att genomföras. Jämförelsen av AROC kommer att avgöra om triage är lika effektivt enligt ovanstående sociala egenskaper.

Dessutom kommer en jämförelse av framgångar (sanna positiva och sanna negativa gemensamt och separat) enligt ovanstående egenskaper också att genomföras med univariata och sedan multivariata logistiska modeller. Dessa analyser kommer att utföras för olika risktrösklar.

- SO4 (verkliga förhållanden) Efter diskussioner bland kollegor och fullskaliga tester kommer specifikationer för implementering under verkliga förhållanden att utformas så att triagemodellen kan implementeras på olika IT-plattformar. Motiveringen bakom de fattade valen kommer att specificeras i dessa specifikationer.