Udvikling af et naturligt sprogbehandlingsværktøj til at muliggøre klinisk forskning i akutmedicin (NLP-DeVal)

BAGGRUND OG RATIONALE FOR UNDERSØGELSEN

Det er lige så svært, som det er vigtigt at udføre klinisk og kvalitetsvurderingsforskning inden for akutmedicin. Det er svært, fordi det store antal patienter, der skal behandles, og den kroniske mangel på personale gør ad hoc-dataindsamling upraktisk. Det er vigtigt, fordi forskning i sidste ende gør det muligt for akutlæger og sygeplejersker at basere deres praksis på evidens opnået i deres egne, unikke rammer, i modsætning til evidens opnået i fjerntliggende sammenhænge, ​​som det er almindeligt i dag.

Den eneste måde at bygge bro mellem forskningsbehov og tilgængelighed af robuste data er at udtrække data direkte fra de elektroniske sundhedsjournaler (EPJ'er) på akutafdelinger og undgå dedikeret, tidskrævende dataindsamling. Dette er imidlertid en vanskelig opgave, fordi den mest nyttige information er i fritekstformat (f.eks. tilstedeværelse af tegn og symptomer, mistænkt og bekræftet diagnose, anamnese). Sådanne omstændigheder og behov kræver et pålideligt naturligt sprogbehandlingsværktøj (NLP) til at udlede meget konsistente data fra fri tekst.

I dag findes der store sprogmodeller, der præcist kan fortolke naturligt sprog. Disse modeller er trænet på enorme mængder generel viden, som hovedsagelig er hentet fra internettet, men deres ydeevne på mere specialiserede områder, såsom det medicinske domæne, er muligvis ikke optimal.

Nærværende undersøgelse er en del af et større projekt kaldet eCREAM (enabling Clinical Research in Emergency and Acute-care Medicine), og har til formål at udvikle og validere en sprogmodel (kaldet eCREAM_LM) ​​for seks sprog, der kan fortolke indholdet af akutmodtagelsens EPJ'er og udtrække relevant information til forskningsformål.

METODER

Undersøgelsen er en observationel, multicenter, retrospektiv, 24-måneders undersøgelse. Tredive centre vil deltage i undersøgelsen: 13 fra Italien, 4 fra Polen, 3 fra Grækenland, Slovakiet, Slovenien og Storbritannien og 1 fra Schweiz. Centrene modtager ingen kompensation, men deres udgifter dækkes af projektmidler.

Udvikling og validering af eCREAM_LM modellen.

eCREAM_LM vil blive udviklet gennem træning og finjustering af den bedste overordnede model, blandt disse open source, og vil forløbe i delvist parallelle faser. Kandidatmodeller vil blive eksponeret for en enorm mængde (milliarder) af medicinske tekster fra den videnskabelige litteratur eller andre offentlige kilder. Samtidig vil modellerne også blive eksponeret for en massiv mængde (millioner) fritekstnotater hentet fra journaler i brug på deltagende hospitaler. Vi vil derefter gå videre til finjustering, hvor en stor mængde (tusindvis) af kliniske notater, hentet igen fra de deltagende centres lægejournaler, vil blive brugt. Disse noter vil blive kommenteret af erfarne læger, som består i at udtrække information fra noterne for at udfylde de datapunkter, der er angivet i en virtuel dataindsamlingsformular (vCRF). vCRF blev oprettet til en relateret undersøgelse og indeholder et sæt variabler, der er nyttige til at forudsige hospitalsindlæggelse af patienter med dyspnø eller forbigående bevidsthedstab, hvilket er formålet med den relaterede undersøgelse. I den aktuelle undersøgelse vil vCRF fungere som et værktøj til at validere sprogmodellen.

Validering af eCREAM_LM vil blive udført ved hjælp af et sæt på 1.000 kliniske noter annoteret som beskrevet ovenfor, men ikke brugt i udviklingsfasen. Disse noter vil blive sendt til eCREAM_LM-modellen med den opgave at kompilere vCRF. Overensstemmelsen mellem udfyldning af vCRF mellem ekspertlægerne og eCREAM_LM vil være målet for den endelige validering af eCREAM_LM.

Dataindsamling og anonymisering

Hvert deltagende hospital vil levere fritekstnotater indeholdt i lægejournalerne for 150-300.000 voksne patienter behandlet mellem 2021 og 2023. Notater, der refererer til forskellige aspekter af den samme patient (f.eks. historie, objektiv undersøgelse, testresultater) vil blive adskilt fra hinanden, så det vil være umuligt at rekonstruere hele patientens profil. Derudover vil notaterne blive frataget enhver reference til patienten (f.eks. fornavn, efternavn, fødselsdato) og kontekst (f.eks. hospital, dato og tidspunkt for ankomst til centret). Denne proces minimerer sandsynligheden for at genidentificere patienter og maksimerer beskyttelsen af ​​deres rettigheder. Sandsynligheden for at genidentificere en patient i en database afhænger af, hvor unikke hans eller hendes egenskaber er fra andre personer i databasen. Sandsynligheden for at have unikke og derfor identificerbare patienter stiger med mængden af ​​tilgængelig information i databasen og falder med dens størrelse. Ved at fjerne alle personlige og kontekstuelle oplysninger fra kliniske noter og adskille hver note fra de andre, vil hver note kun rapportere nogle få karakteristika ved patienten. Derudover vil data indsamlet fra hospitaler i samme land blive slået sammen, så der er én stor database for hvert sprog. Dette nulstiller effektivt sandsynligheden for, at der er individer, der kan identificeres entydigt fra noterne.

For endelig at udelukke muligheden for, at notaterne vil indeholde oplysninger om tredjeparter, såsom navne og telefonnumre på patienters pårørende, vil der på hvert hospital blive installeret en certificeret anonymiseringssoftware, specielt designet til at fjerne persondata fra fritekst.

Når de er anonymiseret, vil dataene blive centraliseret til analyse og vil også blive uploadet til store europæiske sprogressourcedelingsplatforme i det videnskabelige samfund.

Statistisk analyse

I eCREAM_LM-valideringen vil vi vurdere overensstemmelsen mellem ekspert akutlæger og selve eCREAM_LM ved udfyldning af vCRF. Dataene vil referere til en stikprøve på 1.000 sedler for hvert studiesprog. Overensstemmelse vil blive vurderet for hver variabel i vCRF ved hjælp af Cohens κ som et mål for overensstemmelse. eCREAM_LM vil blive betragtet som gyldig, hvis Cohens κ er større end 0,75.

Prøvestørrelse

Forudsat en fremragende overensstemmelse (κ=0,80) mellem eCREAM_LM og de erfarne akutlæger i udførelse af vCRF, vil en prøve på mindst 735 noter være nødvendig for at opnå tilstrækkelig præcision til at garantere en god overensstemmelse (nedre konfidensgrænse på 95 % konfidensinterval på Cohens κ større end 0,75). Dette tal er den maksimale stikprøvestørrelse opnået under forskellige scenarier, der involverer et forskelligt antal kategorier (2 til 5) for hver variabel og forskellige marginale fordelinger af kategorierne i stikprøven, inklusive afbalancerede fordelinger (f.eks. 5 kategorier med 20 % af stikprøven i hver kategori) og meget ubalancerede resultater (f.eks. 5 kategorier med 1,8 %, 7,3 %, 16,4 %, 29,1 % og 45,5 % af stikprøven). Da oplysninger af interesse kan mangle i nogle noter, vil vi udføre datavalideringsvurderingen på 1.000 sedler.