Kunstig intelligens til triage af patienter, der kræver akut eller ikke-planlagt behandling og skal henvises til hospital (TRIAGE)

Introduktion - videnskabelig begrundelse 1.1. Kontekst Eftersom befolkningen bliver ældre og forekomsten af kroniske sygdomme stiger, falder antallet af praktiserende læger. Denne voksende ubalance mellem medicinske behov og udbud fører til vanskeligheder med adgangen til primær sundhedspleje, især akut og uplanlagt pleje.

For at løse dette problem har Frankrig oprettet en sundhedsadgangstjeneste (SAS). Ved behov for akut eller uplanlagt pleje giver SAS personer, hvis primærplejelæge ikke er tilgængelig, adgang til en sundhedsfaglig person. Afhængigt af situationen kan tjenesten give medicinsk rådgivning, tilbyde en telekonsultation, henvise personen til en lokal læge eller akutmodtagelse, eller endda udsende en mobil akut- og genoplivningsenhed (SMUR) eller ambulance. SAS fungerer som et triagesystem, der giver et svar skræddersyet til hver enkelt persons behov.

Formålet med dette projekt er at studere visse aspekter af gyldigheden af en kunstig intelligens (AI) triagemodel for patienter, der søger akut eller uplanlagt pleje, hvilket muliggør identificering af patienter, der vil kræve hospitalsbehandling.

Dette projekt er en fortsættelse af en tidligere undersøgelse, der udviklede en model ved hjælp af AI til at triagere patienter ved hjælp af SOS Médecins Grand Paris. Som i SAS præsenterer personer, der ringer til SOS Médecins, deres problem for en medicinsk koordinationsassistent (MDA), som i de fleste tilfælde arrangerer et hjemmebesøg.

SOS Médecins-databaser indeholder lydoptagelser af plejeforespørgsler og de medicinske beslutninger truffet af læger efter deres hjemmebesøg, herunder om patienten blev henvist til hospitalet (data om patientresultater er udtømmende). En prædiktiv model for patienters brug af hospitalsydelser efter et hjemmebesøg af en SOS-læge blev derfor udviklet ved hjælp af AI. Modellen "lytter" til udvekslingerne mellem patienten og MDA'en og forudsiger brugen af hospitalsydelser efter lægens hjemmebesøg.

Modellen og dens udvikling er genstand for en artikel, der i øjeblikket er indsendt til publicering i et internationalt tidsskrift. I testfasen opnåede den et område under ROC (receiver operating characteristic) kurven på 0,80. I sidste ende skal den AI-baserede model fungere i realtid og give information til MDA'er for at hjælpe dem i deres arbejde. For nu er målet med dette projekt at fuldføre valideringen af systemet. Derefter skal det implementeres og testes under reelle forhold for at fastslå fordelene ved patienttriage af MDA'er ved hjælp af modellens forudsigelser.

Det skal bemærkes, at selvom SOS Médecins ikke er det samme som SAS, er det lignende. For det første fungerer de to strukturer på en lignende måde: en MDA kontaktet telefonisk forsøger at svare på en anmodning om akut eller uplanlagt pleje. Rækken af mulige svar er den samme for begge strukturer (SOS tilbyder ikke kun hjemmebesøg, det udfører også ansigt-til-ansigt eller videokonsultationer og overfører visse opkald til akutmedicinsk tjeneste), ligesom brugen af en læges ekspertise om nødvendigt (medicinsk regulering). For det andet er SOS Médecins en af de nedstrøms effektorer af SAS. Ældre og bedre kendt af offentligheden og sundhedspersonale end SAS (som i øjeblikket kun dækker 60% af det nationale territorium), kunne SOS have en rekrutteringsproces meget lig denne nye tjeneste. Så vidt vi ved, er der endnu ingen statistikker om SAS, der ville tillade en sammenligning af de to strukturers aktiviteter. I denne sammenhæng vil validering inden for SAS af modellen udviklet med SOS-data derfor være nødvendig. Hvis data i fremtiden viser, at de to strukturer er ens, kunne SAS drage fordel af dette projekt udviklet hos SOS. SOS-data har en væsentlig fordel frem for SAS-data: de indeholder information om patientresultater, herunder om de gik på hospitalets akutmodtagelse eller ej. Denne mærkning af opkald muliggjorde overvåget læring af en AI-model.

Dette projekt, som så vidt vi ved er unikt, baner vejen for triageassistance, der kan bruges i SAS (og måske i nogen grad i akutmodtagelser).

1.2. Fordele for patienter og sundhedssystemet Tidlig identificering af patienter med høj risiko for indlæggelse, hvoraf nogle har tilstande, der kræver akutpleje i en specialiseret indstilling, bør lette klinisk beslutningstagning og i sidste ende forbedre patientens sundhed. Dette drejer sig primært om patienter med tilstande, hvis prognose er direkte forbundet med hastigheden af plejeydelsen, såsom alvorlige iskæmiske, respiratoriske, traumatiske eller infektionssygdomme, der vil drage fordel af at blive indlagt uden at vente på, at en læge besøger dem derhjemme. Fordelen for patienter vil derfor være en reduktion i mistede muligheder på grund af triagefejl.

Derudover vil triage opstrøms fra akutmodtagelser (som foreslået af den tidligere sundhedsminister og implementeret i nogle underbemandede akutmodtagelser og er rutinemæssig praksis i Danmark) forbedre funktionen af hospitals akutmodtagelser, hvor overskydende aktivitet har en indvirkning på dødeligheden hos ældre patienter, der modtager pleje. I forhold til folkesundheden kunne indførelsen af et effektivt triagesystem derfor forbedre adgangen til akut og uplanlagt pleje.

Forskningsmål og evalueringskriterier Den AI-baserede triagemodel brugt til at identificere patienter, der skal henvises til hospitalet, er allerede udviklet og testet ved hjælp af opkald til SOS Médecins Grand Paris. En artikel er i øjeblikket ved at blive publiceret. Derfor fokuserer dette projekt ikke på udviklingen eller intern validering af triagemodellen, men på andre aspekter relateret til dens validering: prospektiv og ekstern validering; sammenligning af dens forudsigelser med dem fra en medicinsk ekspert; undersøgelse af social diskrimination, der kunne være forbundet med dens brug; og fastlæggelsen af de faktiske betingelser for dens brug i sundhedsindstillinger.

2.1. Mål og primært slutpunkt Den prospektive evaluering af præstationsniveauet for prædiktive modeller på operationelle data fra den virkelige verden er et afgørende skridt mod at integrere disse modeller i den kliniske kontekst og vurdere deres indvirkning på patientplejen.

- Primært mål (PO): Prospektiv validering af triagemodellen brugt til at identificere patienter, der vil blive henvist til hospitalet efter et hjemmebesøg af en læge.

Området under ROC-kurven (AROC) giver en overordnet måling af præstationsniveauet for et klassifikationssystem.

Det skal bemærkes, at alle data brugt i denne undersøgelse er retrospektive. Modellen blev designet ved hjælp af data fra 2023 og tidligere (op til og inklusive 2017), og de "prospektive" data er dem efter dens design og vil være dataene for 2024.

- Primært slutpunkt (PE): Sammenligning af AROC'er opnået fra repræsentative prøver af retrospektive og prospektive data fra SOS Médecins Paris.

2.2. Sekundære mål og slutpunkter Ekstern validering på patientdata fra separate geografiske steder er nødvendig for at forstå, hvordan modeller udviklet på et sted sikkert og effektivt kan implementeres på andre steder.

- Sekundært mål #1 (SO1): Ekstern validering af triagemodellen

• Sekundært slutpunkt #1 (SEP1): Sammenligning af AROC'er opnået fra repræsentative prøver af retrospektive data fra SOS Médecins Grand Paris og Ajaccio.
• SEP2: Sammenligning af triagemodellens forudsigelser med dem fra en ekspertlæge.
• Sekundært slutpunkt #2 (SEP2): Sammenligning af korrekte forudsigelsesrater mellem triagemodellen og en ekspertlæge på en afbalanceret ikke-repræsentativ prøve (dvs. bestående af 50% af patienter henvist til hospitalet efter et hjemmebesøg af lægen, snarere end 3% som det er tilfældet i virkeligheden) af data fra SOS Médecins Grand Paris.

Flere AI-baserede triagesystemer er blevet fundet diskriminerende. To velkendte eksempler illustrerer dette punkt:

• udvælgelsen af datateknikere, der ansøger om job baseret på deres CV'er: systemet var blevet trænet ved hjælp af eksisterende ingeniører, der overvejende var mænd, og det diskriminerede kvinder;
• Opdagelsen af melanomer fra dermatoskopbilleder: systemet var blevet trænet ved hjælp af lyse hudtoner og var ikke lige så effektivt på mørke hudtoner.
• OS3: Undersøgelse af potentielle diskriminationsfænomener forbundet med modellen, i forhold til patienternes sociale karakteristika.
• Sekundært slutpunkt #3 (CJS3): Sammenligning af AROC'er opnået fra repræsentative prøver af SOS Médecins Grand Paris-data for begge køn.

Overgangen fra en valideret prædiktiv model til en effektiv enhed under reelle forhold er en velkendt udfordring inden for AI.

- SO4: Fastlæggelse af de reelle brugsbetingelser for modellen af MDA'er.

- Sekundært slutpunkt #4 (SEP4): Udarbejdelse af specifikationer for implementeringen af triagesystemet af MDA'er

Udvælgelse og udelukkelse af individer fra undersøgelsen 3.1. Inklusionskriterier Personer i alle aldre, der modtog et hjemmebesøg fra en SOS-læge efter et opkald i 2024 eller tidligere.

3.2. Eksklusionskriterier Personer, der ikke taler fransk. Personer uden sygesikring.

Beskrivelse af undersøgelsen 4.1. Type af undersøgelse Dette er i bund og grund en undersøgelse til validering af en AI-baseret patienttriagemodel. Den vil blive udført ved hjælp af observationsdata.

4.2. Forskningsproces 4.2.1. Placering af forskningen Undersøgelsen vil blive udført på SOS Médecins lokaler. Medicinske eksperter fra SOS Médecins Grand Paris vil blive rekrutteret til at udføre SO2.

4.2.2. Rekrutteringsmetoder Data indsamlet af SOS Médecins i løbet af dens aktiviteter vil blive brugt.

4.2.3. Patientplejeprocedurer Projektet fokuserer på behovet for at bruge hospitaler til at imødekomme efterspørgslen efter akut eller uplanlagt pleje fra patienter i samfundet. Det vil dog ikke forstyrre patientplejen.

4.2.4. Procedurer for udtræden fra undersøgelsen Patienter, der anmoder om at blive udelukket, vil blive udelukket.

4.2.5. Dataindsamling

• PO (prospektiv validering), SO1 (ekstern validering) og SO3 (diskrimination):

De data, der vil blive brugt, er dem allerede indsamlet i løbet af SOS Médecins' aktiviteter. Begge steder (Paris og Ajaccio, Korsika) bruger den samme software til at administrere telefonopkald fra det øjeblik, de modtages og optages, indtil slutningen af SOS-plejeprocessen (dvs. slutningen af hjemmebesøget i vores tilfælde), herunder indtastning af administrative og medicinske data (SOS Médecins-fil). Her er listen over data, der vil blive brugt, og hvordan de vil blive behandlet til analyse:

- Transskriptioner af lydoptagelser af samtaler mellem patienter og MDA'er. AI-forudsigelser vil blive foretaget baseret på disse transskriptioner (og kun disse transskriptioner).

• Data fra SOS Médecins-filen:
• ugen, måneden, året og tidspunktet for telefonopkaldet;
• censusområdenummeret for besøgsstedet vil blive opnået fra adressen angivet af patienten. Censusområder er de mindste rumlige enheder, for hvilke statistiske data er tilgængelige, samtidig med at anonymiteten af dets beboere bevares. Flere socioøkonomiske variable fra INSEE's (National Institute of Statistics and Economic Studies) folketælling er tilgængelige på dette niveau, såsom arbejdsløshedsrater, gymnasieuddannede, arbejdere, medianindkomst, den sociale ulempeindeks (også kendt som FDep for French DEPrivation index) og EDI (for Ecological Deprivation Index). Disse forskellige variable giver økologiske (i modsætning til individuelle) målinger af de enkeltpersoners sociale position, der bor der;
• årsager til opkaldet, defineret af MDA'en, baseret på en foruddefineret liste, men ikke svarende til en international klassifikation. Flere årsager kan rapporteres for det samme opkald;
• niveau af akuthed (4 niveauer), defineret af MDA'en;
• dato og tid for afslutningen af hjemmebesøget, defineret af lægen ved afslutningen af besøget
• Konsultationsdiagnoser, defineret af lægen ved afslutningen af besøget, baseret på en foruddefineret liste, men ikke svarende til en international klassifikation. Flere årsager kan rapporteres for den samme konsultation.
• Patientens status ved afslutningen af besøget (lukket liste: forladt på stedet, overførsel til hospitals akutmodtagelse, kald af akutmedicinsk tjeneste).
• metode til overførsel til hospitals akutmodtagelse (lukket liste: ved egne midler, ambulance, brandvæsen, SMUR).
• SO2 (medicinsk ekspert):

Nogle individuelle data vil blive indsamlet fra de medicinske eksperter, der deltager i opnåelsen af dette mål: alder, køn, længde af praksis samlet og inden for SOS Médecins, speciale.

Derudover vil disse læger efter at have læst transskriptionerne af telefonudvekslinger mellem patienter og ARM'er blive bedt om at estimere sandsynligheden for, at patienter bliver overført til hospitalet.

De vil blive stillet to spørgsmål:

• Hvad er sandsynligheden for, at denne patient bliver indlagt efter SOS-lægens besøg? Svar ved at placere et kryds på skalaen fra 0 (ingen indlæggelse) til 100 (indlæggelse).
• Hvor sikker er du på denne sandsynlighed? Svar ved at placere et kryds på skalaen fra 0 (ingen sikkerhed) til 100 (total sikkerhed)

Beskrivelse af undersøgelsens interventioner Der er ingen interventioner i denne undersøgelse, som er strengt observationsbaseret.

Ikke desto mindre beskriver vi her organisationen af det arbejde, der vil blive udført for at fuldføre SO2 og SO4.

• SO2 (medicinsk ekspert):

For at sammenligne triagemodellens forudsigelser af hospitalsbrug med dem fra en medicinsk ekspert, vil læger fra SOS Médecins Grand Paris med mere end fem års erfaring i organisationen blive rekrutteret på frivillig basis. Hver af disse læger vil blive bedt om at estimere sandsynligheden for hospitalsbrug for flere patienter/opkald (se §4.2.5. Dataindsamling).

- SO4 (reelle forhold): En arbejdsgruppe bestående af statistikere, datateknikere, MDA'er, SOS-læger og ergonomiforskere vil blive dannet for at overveje den bedste måde at give MDA'er sandsynligheden for hospitalsbrug. Flere spørgsmål skal behandles: hvordan sandsynligheden vises på skærmen, sandsynlighedstærsklen, om opkaldet skal overføres til koordineringslægen (og i så fald ved hvilken tærskel), indflydelsen af sandsynligheden på opkaldets akuthedsniveau som defineret af MDA'en, og muligheden for at prioritere visse akutte anmodninger. Efter et indledende arbejdsmøde vil en version implementeres med frivillige MDA'er. Efter indledende brug under reelle forhold vil feedback blive indsamlet, og et nyt eksperiment udført. Endelig vil specifikationer for implementering under reelle forhold blive udarbejdet (med angivelse af årsagerne til de trufne valg), så triagemodellen kan implementeres på forskellige IT-platforme.

Statistiske analyser 6.1. Beregning af antallet af forsøgspersoner - PO (prospektiv validering): For at demonstrere, at AROC på prospektive data er forskellig fra ROC på retrospektive data, hvis AROC'er på 0,75 og 0,80 observeres henholdsvis, vil vi have brug for 13.560 patienter/opkald per prøve (dvs. 407 patienter, der vil blive henvist til hospitalet, og 13.153 patienter, der ikke vil, i overensstemmelse med de 3% af patienter henvist til hospitalet observeret hos SOS Médecins Grand Paris), under antagelse af en alfarisiko på 5%, en styrke på 90% og en totestet test. Dette resultat blev opnået ved hjælp af power tworoc-funktionen i Stata-statistiksoftwaren.

- SO1 (ekstern validering): Ifølge samme beregning som for OP skal en prøve på 13.560 patienter mobiliseres i Ajaccio, Korsika.

- SO2 (ekspertlæger): Mens alle andre analyser vil være baseret på repræsentative prøver, vil denne analyse være baseret på en afbalanceret prøve (dvs. sammensat af 50% af patienter, der vil blive henvist til hospitalet, og 50%, der ikke vil) af to årsager. Med en lav rate af hospitalshenvisninger (3%) og et lavt antal opkald, der skal vurderes for hver af ekspertlægerne, kunne en mulig strategi for en læge, der ønsker at sikre god præstation, være aldrig at henvise patienter til hospitalet. Derudover ville en repræsentativ prøve ikke tillade undersøgelse af falske negativer (patienter med en lav estimeret sandsynlighed for at blive henvist til hospitalet, når de faktisk vil blive det), da der ville være for få af dem.

For at fremhæve en forskel i den korrekte forudsigelsesrate mellem triagemodellen og en ekspertlæge ville 365 opkald fra patienter, der bruger hospitalet (og samme antal patienter, der ikke bruger det) være påkrævet, under antagelse af en korrekt forudsigelsesrate på 58% (se bilag §12.2 for fastlæggelsen af denne rate) og 68% (et a priori valg af 10 ekstra procentpoint) for henholdsvis triagemodellen og ekspertlægen, med en alfarisiko på 5%, en styrke på 80% og en totestet test (Stat's power twoproportions funktion).

Baseret på en vurdering af et opkald hvert 5. minut vil der være behov for i alt 61 timers medicinsk eksperttid. Baseret på 4 timers arbejde per læge svarer dette til 16 medicinske eksperter, der skal rekrutteres.

- SO3 (diskrimination): Ifølge samme beregning som for PO skal en prøve på 13.560 patienter af hvert køn mobiliseres, hvis vi ønsker at vise en forskel i AROC af triagemodellen mellem mænd og kvinder. Kønsforholdet for personer, der ringer til SOS Médecins Grand Paris, er tæt på 1. Både retrospektive og prospektive prøver fra SOS Médecins Grand Paris fra PO vil blive brugt.

6.2. Beskrivelse af de anvendte statistiske analyser Undersøgelsen vil blive udført i overensstemmelse med TRIPOD-AI-anbefalingerne, som er retningslinjerne for rapportering af prognostiske og diagnostiske undersøgelser (specifikt for AI)

6.2.1. Udvælgelse af individer, der skal inkluderes i analyserne For alle mål vil udvælgelsen af individer, der skal inkluderes, blive foretaget ved tilfældigt lodtrækning baseret på et rundt antal år. Dette vil dække alle timer på dagen, ugedage og måneder på året. For SO3 vil den ikke-repræsentative prøve indeholde 50% af patienter henvist til hospitalet.

6.2.2. Beskrivende statistik Beskrivende analyser vil blive udført for alle indsamlede variable. Kvantitative variable vil blive beskrevet ved hjælp af deres middelværdi, median, standardafvigelse, 95% konfidensinterval, interkvartilområde, minimum, maksimum, antal manglende værdier og antal ubrugelige værdier. Kvalitative variable vil blive beskrevet ved deres procenter og 95% konfidensinterval. Tiden der er gået mellem opkaldet og afslutningen af besøget vil blive præsenteret. Disse analyser vil blive udført på alle prøver og stratificeret i henhold til hospitalsbrug.

6.2.3. Analyse af det primære slutpunkt Vi begynder med at præsentere den generiske analysestrategi, der vil blive brugt til forskellige formål.

For at evaluere præstationsniveauet for de forskellige triagesystemer (AI og medicinsk ekspert) på forskellige prøver (prospektive eller retrospektive, i Paris eller Ajaccio, Korsika) af patienter, vil ROC- og præcision-recall (PR) kurver blive plottet, og områderne under disse kurver (AROC og APR) estimeret. AROC'en giver os mulighed for at måle det overordnede præstationsniveau for et klassifikationssystem. APR vil også blive brugt, fordi den er særligt informativ, når man evaluerer binære klassifikatorer på ubalancerede datasæt, hvor antallet af negative resultater langt overstiger antallet af positive resultater (hvilket svarer til vores situation). For at sammenligne to triagesystemer (AI og medicinsk ekspert, for eksempel) eller det samme triagesystem (AI, for eksempel) på to forskellige populationer (Paris og Ajaccio, Korsika, for eksempel), vil deres AROC blive sammenlignet.

Derudover, for at evaluere præstationsniveauet på en meningsfuld måde fra et operationelt perspektiv, vil følsomhed (Sen), specificitet (Spe), positive prædiktive værdier (PPV) og negative prædiktive værdier (NPV) blive beregnet for forskellige tærskler.

- PO (prospektiv gyldighed): Den generiske analysestrategi for AI-triagemodellen vil blive udført på to repræsentative prøver, en retrospektiv (2023 og tidligere år) og en prospektiv (2024 år) fra SOS Médecin Grand Paris.

6.2.4. Analyse af sekundære slutpunkter

- SO1 (ekstern gyldighed): Den generiske analysestrategi relateret til AI-triagemodellen vil blive udført på to repræsentative retrospektive prøver fra SOS Médecin Grand Paris og Ajaccio, Korsika.

- SO2 (ekspertlæger): De korrekte forudsigelsesrater for de to triagesystemer (AI og ekspertlæger) vil blive sammenlignet ved hjælp af en statistisk test.

På en mere eksploratorisk basis:

- AROC'erne for de to triagesystemer vil blive beregnet (generisk analysestrategi).

- Forudsigelsesforskellene mellem de to triagesystemer vil blive modelleret baseret på faktisk hospitalsbrug og patientkarakteristika.

- Vægtede kappakoefficienter vil blive beregnet mellem de to forudsigelser.

- følsomhedsanalyser vil blive udført baseret på sikkerhedsniveauet rapporteret af medicinske eksperter (især høje og lave sikkerhedsniveauer);

• stratificerede analyser af faktisk hospitalsbrug vil blive udført (undersøgelse af sande positive og sande negative).

Hvor det er muligt, vil analyserne tage højde for, at den samme medicinske ekspert kan have undersøgt flere opkald/patienter.

• SO3 (diskrimination):

Diskrimination vil blive undersøgt i henhold til følgende sociale karakteristika: alder, køn og social position (estimerede baseret på de socioøkonomiske karakteristika for censusområdet for besøgsstedet). . Alder og økologiske variable for social position vil blive brugt i form af tertiler og kvintiler. Den generiske analysestrategi relateret til AI-triagemodellen på repræsentative prøver fra SOS Médecin Grand Paris stratificeret i henhold til ovennævnte sociale karakteristika vil blive udført. Sammenligningen af AROC'er vil afgøre, om triage er lige effektivt i henhold til ovennævnte sociale karakteristika.

Derudover vil en sammenligning af succes (sande positive og sande negative i fællesskab og separat) i henhold til ovennævnte karakteristika også blive udført ved hjælp af univariate og derefter multivariate logistiske modeller. Disse analyser vil blive udført for forskellige risikotærskler.

- SO4 (reelle forhold) Efter diskussioner blandt kolleger og test i fuld skala vil specifikationer for implementering under reelle forhold blive udarbejdet, så triagemodellen kan implementeres på forskellige IT-platforme. Begrundelsen bag de trufne valg vil blive specificeret i disse specifikationer.