Utveckling av ett verktyg för bearbetning av naturligt språk för att möjliggöra klinisk forskning inom akutmedicin (NLP-DeVal)

BAKGRUND OCH BAKGRUND TILL STUDIEN

Att bedriva klinisk forskning och bedömning av vårdkvalitet inom akutmedicin är lika svårt som viktigt. Det är svårt eftersom det stora antalet patienter som behöver behandlas och den kroniska bristen på personal gör ad hoc-datainsamling opraktisk. Det är viktigt eftersom forskning i slutändan gör det möjligt för akutläkare och sjuksköterskor att basera sin praktik på evidens som erhållits i sin egen unika miljö, i motsats till evidens som erhållits i långt avlägsna sammanhang, vilket är vanligt i dag.

Det enda sättet att överbrygga klyftan mellan forskningsbehov och tillgång till robusta data är att extrahera data direkt från akutmottagningarnas elektroniska journaler, och undvika dedikerad, tidskrävande datainsamling. Detta är dock en svår uppgift eftersom den mest användbara informationen finns i fritextformat (t.ex. förekomst av tecken och symtom, misstänkt och bekräftad diagnos, anamnes). Sådana omständigheter och behov kräver ett tillförlitligt verktyg för bearbetning av naturligt språk (NLP) för att härleda mycket konsekventa data från fritext.

Idag finns storskaliga språkmodeller tillgängliga som kan tolka naturligt språk korrekt. Dessa modeller är tränade på enorma mängder allmän kunskap hämtad mestadels från Internet, men deras prestanda inom mer specialiserade områden, såsom den medicinska domänen, kanske inte är optimal.

Den föreliggande studien är en del av ett större projekt kallat eCREAM (enabling Clinical Research in Emergency and Acute-care Medicine), och syftar till att utveckla och validera en språkmodell (kallad eCREAM_LM) ​​för sex språk som kan tolka innehållet i akutmottagningens EPJ och utvinna relevant information för forskningsändamål.

METODER

Studien är en observationsstudie, multicenter, retrospektiv, 24 månader lång. Trettio centra kommer att delta i studien: 13 från Italien, 4 från Polen, 3 från Grekland, Slovakien, Slovenien och Storbritannien, och 1 från Schweiz. Centrumen kommer inte att få någon ersättning utan deras utgifter täcks av projektmedel.

Utveckling och validering av eCREAM_LM-modellen.

eCREAM_LM kommer att utvecklas genom utbildning och finjustering av den bästa övergripande modellen, bland dessa med öppen källkod, och kommer att fortsätta i delvis parallella faser. Kandidatmodeller kommer att exponeras för en enorm mängd (miljarder) medicinska texter från den vetenskapliga litteraturen eller andra offentliga källor. Samtidigt kommer modellerna också att exponeras för en enorm mängd (miljoner) fritextanteckningar från journaler som används på deltagande sjukhus. Vi kommer sedan att gå vidare till finjustering, där en stor mängd (tusentals) kliniska anteckningar, som återigen erhållits från de deltagande centras journaler, kommer att användas. Dessa anteckningar kommer att kommenteras av erfarna läkare, vilket består av att extrahera information från anteckningarna för att fylla i dataposterna som listas i ett virtuellt datainsamlingsformulär (vCRF). vCRF skapades för en relaterad studie och innehåller en uppsättning variabler som är användbara för att förutsäga sjukhusvistelse av patienter med dyspné eller övergående medvetslöshet, vilket är syftet med den relaterade studien. I den aktuella studien kommer vCRF att fungera som ett verktyg för att validera språkmodellen.

Validering av eCREAM_LM kommer att utföras med hjälp av en uppsättning av 1 000 kliniska anteckningar kommenterade enligt beskrivningen ovan, men används inte i utvecklingsfasen. Dessa anteckningar kommer att skickas till eCREAM_LM-modellen med uppgiften att kompilera vCRF. Överensstämmelsen i att fylla i vCRF mellan expertläkare och eCREAM_LM kommer att vara måttet på slutlig validering av eCREAM_LM.

Datainsamling och anonymisering

Varje deltagande sjukhus kommer att tillhandahålla fritextanteckningar som finns i journalerna för 150-300 000 vuxna patienter som behandlats mellan 2021 och 2023. Anteckningar som hänvisar till olika aspekter av samma patient (t.ex. historia, objektiv undersökning, testresultat) kommer att separeras från varandra så att det blir omöjligt att rekonstruera patientens fullständiga profil. Dessutom kommer anteckningarna att tas bort från alla hänvisningar till patienten (t.ex. förnamn, efternamn, födelsedatum) och sammanhang (t.ex. sjukhus, datum och tid för ankomst till centret). Denna process minimerar sannolikheten för att omidentifiera patienter och maximerar skyddet av deras rättigheter. Sannolikheten att återidentifiera en patient i en databas beror på hur unika hans eller hennes egenskaper är från andra individer i databasen. Sannolikheten för att ha unika, och därför identifierbara, patienter ökar med mängden tillgänglig information i databasen och minskar med dess storlek. Genom att ta bort all personlig och kontextuell information från kliniska anteckningar och separera varje anteckning från de andra, kommer varje anteckning bara att rapportera ett fåtal egenskaper hos patienten. Dessutom kommer data som samlas in från sjukhus i samma land att slås samman så att det finns en stor databas för varje språk. Detta nollställer effektivt sannolikheten för att det finns individer som är unikt identifierbara från anteckningarna.

Slutligen, för att utesluta möjligheten att anteckningarna kommer att innehålla information om tredje part, såsom namn och telefonnummer till patienters anhöriga, kommer en certifierad anonymiseringsprogramvara, speciellt utformad för att ta bort personuppgifter från fritext, att installeras på varje sjukhus.

När de är anonymiserade kommer uppgifterna att centraliseras för analys och kommer även att laddas upp till stora europeiska språkresursdelningsplattformar inom forskarvärlden.

Statistisk analys

I eCREAM_LM-valideringen kommer vi att bedöma överensstämmelsen mellan expertakutläkare och eCREAM_LM själv när vi fyller i vCRF. Uppgifterna kommer att referera till ett urval av 1 000 anteckningar för varje studiespråk. Överensstämmelse kommer att bedömas för varje variabel i vCRF med hjälp av Cohens κ som ett mått på överensstämmelse. eCREAM_LM kommer att anses vara giltig om Cohens κ är större än 0,75.

Provstorlek

Om man antar en utmärkt överensstämmelse (κ=0,80) mellan eCREAM_LM och de erfarna akutläkarna vid genomförandet av vCRF, kommer ett urval på minst 735 anteckningar att vara nödvändigt för att uppnå tillräcklig precision för att garantera en god överensstämmelse (nedre konfidensgräns på 95 % konfidensintervall på Cohens κ större än 0,75). Detta antal är den maximala urvalsstorleken som erhålls under olika scenarier som involverar olika antal kategorier (2 till 5) för varje variabel och olika marginalfördelningar av kategorierna i urvalet, inklusive balanserade fördelningar (t.ex. 5 kategorier med 20 % av urvalet i varje kategori) och mycket obalanserade resultat (t.ex. 5 kategorier med 1,8 %, 7,3 %, 16,4 %, 29,1 % och 45,5 % av urvalet). Eftersom information av intresse kan saknas i vissa anteckningar kommer vi att utföra datavalideringsbedömningen på 1 000 anteckningar.