Ontwikkeling van een hulpmiddel voor natuurlijke taalverwerking om klinisch onderzoek in de spoedeisende geneeskunde mogelijk te maken (NLP-DeVal)

ACHTERGROND EN RATIONALE VOOR HET ONDERZOEK

Het uitvoeren van klinisch onderzoek en onderzoek naar de kwaliteit van zorg in de spoedeisende geneeskunde is even moeilijk als belangrijk. Dat is moeilijk omdat het grote aantal patiënten dat behandeld moet worden en het chronische tekort aan personeel het ad hoc verzamelen van gegevens onpraktisch maken. Het is belangrijk omdat onderzoek artsen en verpleegkundigen op de spoedeisende hulp uiteindelijk in staat stelt hun praktijk te baseren op bewijsmateriaal dat in hun eigen, unieke omgeving is verkregen, in tegenstelling tot bewijsmateriaal dat in verafgelegen contexten is verkregen, zoals tegenwoordig vaak het geval is.

De enige manier om de kloof tussen onderzoeksbehoeften en de beschikbaarheid van robuuste gegevens te overbruggen, is door gegevens rechtstreeks uit de elektronische medische dossiers (EPD's) van spoedeisende hulpafdelingen te halen, waardoor specifieke, tijdrovende gegevensverzameling wordt vermeden. Dit is echter een moeilijke taak, omdat de nuttigste informatie in vrije tekstvorm staat (bijvoorbeeld de aanwezigheid van tekenen en symptomen, vermoedelijke en bevestigde diagnose, anamnese). Dergelijke omstandigheden en behoeften vereisen een betrouwbaar hulpmiddel voor natuurlijke taalverwerking (NLP) om zeer consistente gegevens uit vrije tekst af te leiden.

Tegenwoordig zijn er grootschalige taalmodellen beschikbaar die natuurlijke taal nauwkeurig kunnen interpreteren. Deze modellen zijn echter getraind op grote hoeveelheden algemene kennis die voornamelijk van internet afkomstig is, waardoor hun prestaties op meer gespecialiseerde gebieden, zoals het medische domein, mogelijk niet optimaal zijn.

De huidige studie maakt deel uit van een groter project genaamd eCREAM (enabling Clinical Research in Emergency and Acute-care Medicine), en heeft tot doel een taalmodel te ontwikkelen en te valideren (genaamd eCREAM_LM) ​​voor zes talen die de inhoud van EPD’s van de spoedeisende hulp kunnen interpreteren en valideren. relevante informatie verzamelen voor onderzoeksdoeleinden.

METHODEN

De studie is een observationeel, multicenter, retrospectief onderzoek van 24 maanden. Dertig centra zullen aan het onderzoek deelnemen: 13 uit Italië, 4 uit Polen, 3 uit Griekenland, Slowakije, Slovenië en het Verenigd Koninkrijk, en 1 uit Zwitserland. De centra ontvangen geen vergoeding, maar hun kosten worden gedekt uit projectgelden.

Ontwikkeling en validatie van het eCREAM_LM-model.

eCREAM_LM zal worden ontwikkeld door middel van training en verfijning van het beste algemene model, onder de open source-modellen, en zal in gedeeltelijk parallelle fasen verlopen. Kandidaatmodellen zullen worden blootgesteld aan een enorme hoeveelheid (miljarden) medische teksten uit de wetenschappelijke literatuur of andere publieke bronnen. Tegelijkertijd zullen de modellen ook worden blootgesteld aan een enorme hoeveelheid (miljoenen) vrije tekstnotities die zijn verkregen uit medische dossiers die in de deelnemende ziekenhuizen worden gebruikt. Vervolgens gaan we over tot verfijning, waarbij een grote hoeveelheid (duizenden) klinische aantekeningen, wederom verkregen uit de medische dossiers van de deelnemende centra, zullen worden gebruikt. Deze aantekeningen zullen worden geannoteerd door ervaren artsen, wat bestaat uit het extraheren van informatie uit de aantekeningen om de gegevensitems in te vullen die zijn vermeld in een virtueel gegevensverzamelingsformulier (vCRF). De vCRF is gemaakt voor een gerelateerd onderzoek en bevat een reeks variabelen die nuttig zijn bij het voorspellen van de ziekenhuisopname van patiënten met kortademigheid of tijdelijk bewustzijnsverlies, wat het doel is van het gerelateerde onderzoek. In de huidige studie zal de vCRF dienen als een hulpmiddel voor het valideren van het taalmodel.

Validatie van eCREAM_LM zal worden uitgevoerd met behulp van een set van 1.000 klinische aantekeningen, geannoteerd zoals hierboven beschreven, maar niet gebruikt in de ontwikkelingsfase. Deze aantekeningen worden verzonden naar het eCREAM_LM-model met als taak het compileren van de vCRF. De overeenstemming bij het invullen van de vCRF tussen de deskundige artsen en de eCREAM_LM zal de maatstaf zijn voor de uiteindelijke validatie van eCREAM_LM.

Gegevensverzameling en anonimisering

Elk deelnemend ziekenhuis zal vrije tekstaantekeningen verstrekken in de medische dossiers van 150-300.000 volwassen patiënten die tussen 2021 en 2023 zijn behandeld. Aantekeningen die betrekking hebben op verschillende aspecten van dezelfde patiënt (bijvoorbeeld geschiedenis, objectief onderzoek, testresultaten) zullen van elkaar worden gescheiden, zodat het onmogelijk zal zijn om het volledige profiel van de patiënt te reconstrueren. Bovendien worden de aantekeningen ontdaan van elke verwijzing naar de patiënt (bijvoorbeeld voornaam, achternaam, geboortedatum) en context (bijvoorbeeld ziekenhuis, datum en tijdstip van aankomst in het centrum). Dit proces minimaliseert de kans op heridentificatie van patiënten en maximaliseert de bescherming van hun rechten. De waarschijnlijkheid dat een patiënt binnen een database opnieuw wordt geïdentificeerd, hangt af van hoe uniek zijn of haar kenmerken zijn ten opzichte van andere individuen in de database. De kans op unieke en dus identificeerbare patiënten neemt toe met de hoeveelheid informatie die beschikbaar is in de database en neemt af met de omvang ervan. Door alle persoonlijke en contextuele informatie uit klinische aantekeningen te verwijderen en elke aantekening van de andere te scheiden, zal elke aantekening slechts enkele kenmerken van de patiënt vermelden. Bovendien zullen gegevens verzameld uit ziekenhuizen in hetzelfde land worden samengevoegd, zodat er voor elke taal één grote database ontstaat. Dit elimineert effectief de kans dat er individuen zijn die uniek identificeerbaar zijn op basis van de bankbiljetten.

Om ten slotte de mogelijkheid uit te sluiten dat de aantekeningen informatie over derden bevatten, zoals namen en telefoonnummers van familieleden van patiënten, zal in elk ziekenhuis gecertificeerde anonimiseringssoftware worden geïnstalleerd, speciaal ontworpen om persoonlijke gegevens uit vrije tekst te verwijderen.

Zodra de gegevens geanonimiseerd zijn, worden ze gecentraliseerd voor analyse en worden ze ook geüpload naar grote Europese platforms voor het delen van taalbronnen in de wetenschappelijke gemeenschap.

statistische analyse

Bij de eCREAM_LM-validatie beoordelen we de overeenstemming tussen deskundige spoedeisende hulpartsen en de eCREAM_LM zelf bij het invullen van de vCRF. De gegevens hebben betrekking op een steekproef van 1.000 aantekeningen voor elke studietaal. Voor elke variabele van de vCRF zal de concordantie worden beoordeeld met behulp van Cohen's κ als maatstaf voor overeenstemming. De eCREAM_LM wordt als geldig beschouwd als Cohen's κ groter is dan 0,75.

Steekproefgrootte

Uitgaande van een uitstekende overeenkomst (κ=0,80) tussen eCREAM_LM en de ervaren spoedeisende hulpartsen bij het invullen van de vCRF, zal een steekproef van ten minste 735 aantekeningen nodig zijn om voldoende nauwkeurigheid te bereiken om een ​​goede overeenkomst te garanderen (onderste betrouwbaarheidsgrens van 95% betrouwbaarheidsinterval van Cohen's κ groter dan 0,75). Dit aantal is de maximale steekproefomvang die wordt verkregen onder verschillende scenario's met een verschillend aantal categorieën (2 tot 5) voor elke variabele en verschillende marginale verdelingen van de categorieën in de steekproef, inclusief evenwichtige verdelingen (bijvoorbeeld 5 categorieën met 20% van de steekproef in elke categorie) en zeer onevenwichtige resultaten (bijvoorbeeld 5 categorieën met 1,8%, 7,3%, 16,4%, 29,1% en 45,5% van de steekproef). Omdat in sommige biljetten mogelijk interessante informatie ontbreekt, zullen we de gegevensvalidatiebeoordeling uitvoeren op 1.000 biljetten.