Luonnollisen kielen käsittelytyökalun kehittäminen hätälääketieteen kliinisen tutkimuksen mahdollistamiseksi (NLP-DeVal)
Luonnollisen kielen käsittelytyökalun kehittäminen ja validointi hätä- ja akuuttihoidon kliinisen tutkimuksen mahdollistamiseksi: Retrospektiivinen kohorttitutkimus
Tämän retrospektiivisen kohorttitutkimuksen tavoitteena on kehittää ja validoida kielimalli, joka pystyy tulkitsemaan ensiapuosaston sähköisten potilaskertomusten sisältöä ja poimimaan asiaankuuluvaa tietoa tutkimustarkoituksiin kaikista osallistuviin ensiapuun kolmen vuoden aikana saapuneista aikuispotilaista. .
Pääkysymys, johon se pyrkii vastaamaan, on: pystyykö kielimalli tulkitsemaan päivystyksen sähköisten potilaskertomusten sisältöä ja poimimaan niistä pyydetyt tiedot tarkkojen analyysien ja ennusteiden tekemiseen?
Tutkimus on retrospektiivinen ja tiedot poimitaan automaattisesti lääketieteellisistä potilaskertomuksista.
Tutkimuksen yleiskatsaus
Yksityiskohtainen kuvaus
TUTKIMUKSEN TAUSTA JA PERUSTELUT
Kliinisen ja hoidon laadun arviointitutkimuksen tekeminen ensihoidon lääketieteessä on yhtä vaikeaa kuin tärkeää. Se on vaikeaa, koska hoidettavien potilaiden suuri määrä ja jatkuva henkilöstöpula tekevät tilapäisen tiedonkeruun epäkäytännöllistä. Se on tärkeä, koska loppujen lopuksi päivystyslääkärit ja sairaanhoitajat voivat tutkimuksen avulla perustaa toimintansa todisteisiin, jotka on saatu heidän omassa ainutlaatuisessa ympäristössään, toisin kuin todisteet, jotka on hankittu kaukaisista yhteyksistä, kuten nykyään yleensä tapahtuu.
Ainoa tapa kurottaa umpeen tutkimustarpeiden ja vankan tiedon saatavuuden välinen kuilu on poimia tiedot suoraan ensiapuosastojen sähköisistä terveyskertomuksista (EHR) välttäen tarkoitukseen varattua, aikaa vievää tiedonkeruuta. Tämä on kuitenkin vaikea tehtävä, koska hyödyllisin tieto on vapaassa tekstimuodossa (esim. merkkien ja oireiden esiintyminen, epäilty ja vahvistettu diagnoosi, anamneesi). Tällaiset olosuhteet ja tarpeet vaativat luotettavan luonnollisen kielen käsittelytyökalun (NLP) erittäin johdonmukaisen tiedon saamiseksi vapaasta tekstistä.
Nykyään on saatavilla laajamittaisia kielimalleja, jotka pystyvät tulkitsemaan luonnollisen kielen tarkasti. Nämä mallit on koulutettu valtaviin määriin yleistietoa, joka on otettu enimmäkseen Internetistä, joten niiden suorituskyky erikoistuneemmilla aloilla, kuten lääketieteen alalla, ei välttämättä ole optimaalinen.
Tämä tutkimus on osa suurempaa eCREAM-projektia (enable Clinical Research in Emergency and Acute-Care Medicine), ja sen tavoitteena on kehittää ja validoida kielimalli (nimeltään eCREAM_LM) kuudelle kielelle, joka pystyy tulkitsemaan ensiapuosaston EHR:n sisältöä ja poimi asiaankuuluvaa tietoa tutkimustarkoituksiin.
MENETELMÄT
Tutkimus on havainnollinen, monikeskus, retrospektiivinen, 24 kuukautta kestävä tutkimus. Tutkimukseen osallistuu 30 keskusta: 13 Italiasta, 4 Puolasta, 3 Kreikasta, Slovakiasta, Sloveniasta ja Yhdistyneestä kuningaskunnasta ja 1 Sveitsistä. Keskukset eivät saa korvausta, mutta niiden kulut katetaan projektivaroilla.
eCREAM_LM-mallin kehittäminen ja validointi.
eCREAM_LM kehitetään koulutuksella ja hienosäätämällä paras kokonaismalli avoimen lähdekoodin joukosta, ja se etenee osittain rinnakkain. Ehdokkaat mallit altistuvat valtavalle määrälle (miljardeja) lääketieteellisiä tekstejä tieteellisestä kirjallisuudesta tai muista julkisista lähteistä. Samanaikaisesti mallit altistuvat myös valtavalle määrälle (miljoonaa) vapaata tekstiä, joka on saatu osallistuvien sairaaloiden käytössä olevista lääketieteellisistä tiedoista. Sitten siirrytään hienosäätöön, jossa käytetään suuria määriä (tuhansia) kliinisiä muistiinpanoja, jotka on saatu jälleen kerran osallistuvien keskusten potilaskertomuksista. Kokeneet lääkärit tekevät huomautuksia muistiinpanoista, mikä koostuu tietojen poimimisesta muistiinpanoista virtuaalisessa tiedonkeruulomakkeessa (vCRF) lueteltujen tietojen täyttämiseksi. vCRF luotiin liittyvää tutkimusta varten ja sisältää joukon muuttujia, jotka ovat hyödyllisiä ennustettaessa potilaiden sairaalahoitoa, joilla on hengenahdistus tai ohimenevä tajunnanmenetys, mikä on aiheeseen liittyvän tutkimuksen tavoite. Tässä tutkimuksessa vCRF toimii työkaluna kielimallin validoinnissa.
eCREAM_LM:n validointi suoritetaan käyttämällä 1 000 kliinisen muistiinpanon sarjaa, jotka on merkitty yllä kuvatulla tavalla, mutta joita ei käytetä kehitysvaiheessa. Nämä muistiinpanot lähetetään eCREAM_LM-malliin, jonka tehtävänä on koota vCRF. Asiantuntijalääkärien ja eCREAM_LM:n välisen vCRF:n täyttämisen yhteensopivuus on eCREAM_LM:n lopullisen validoinnin mitta.
Tiedonkeruu ja anonymisointi
Jokainen osallistuva sairaala toimittaa ilmaisia tekstiviestejä, jotka sisältyvät 150–300 000 vuosina 2021–2023 hoidetun aikuispotilaan potilastietoihin. Saman potilaan eri näkökohtiin viittaavat huomautukset (esim. historia, objektiivinen tutkimus, testitulokset) erotetaan toisistaan siten, että potilaan koko profiilin rekonstruoiminen on mahdotonta. Lisäksi muistiinpanoista poistetaan kaikki viittaukset potilaaseen (esim. etunimi, sukunimi, syntymäaika) ja konteksti (esim. sairaala, keskukseen saapumispäivä ja -aika). Tämä prosessi minimoi potilaiden uudelleentunnistamisen todennäköisyyden ja maksimoi heidän oikeuksiensa suojan. Todennäköisyys, että potilas tunnistetaan uudelleen tietokannasta, riippuu siitä, kuinka ainutlaatuisia hänen ominaisuutensa ovat tietokannan muilta henkilöiltä. Ainutlaatuisten ja siten tunnistettavissa olevien potilaiden todennäköisyys kasvaa tietokannassa saatavilla olevan tiedon määrän myötä ja pienenee sen koon myötä. Poistamalla kaikki henkilökohtaiset ja kontekstuaaliset tiedot kliinisistä muistiinpanoista ja erottamalla jokainen muistiinpano muista, jokainen muistiinpano raportoi vain muutaman potilaan ominaisuuden. Lisäksi saman maan sairaaloista kerätyt tiedot yhdistetään siten, että kullekin kielelle tulee yksi suuri tietokanta. Tämä nollaa tehokkaasti pois sen todennäköisyyden, että seteleissä on yksilöitä, jotka voidaan yksilöidä.
Lopuksi, jotta voidaan sulkea pois mahdollisuus, että muistiinpanot sisältävät tietoja kolmansista osapuolista, kuten potilaiden sukulaisten nimiä ja puhelinnumeroita, jokaiseen sairaalaan asennetaan sertifioitu anonymisointiohjelmisto, joka on erityisesti suunniteltu poistamaan henkilötiedot vapaasta tekstistä.
Kun tiedot on anonymisoitu, ne keskitetään analysointia varten ja ne ladataan myös suurille eurooppalaisille kieliresurssien jakamisalustoille tiedeyhteisössä.
Tilastollinen analyysi
eCREAM_LM-validaatiossa arvioimme päivystysasiantuntijoiden ja itse eCREAM_LM:n välistä yhteensopivuutta vCRF:n täyttämisessä. Tiedot viittaavat 1 000 muistiinpanon otokseen jokaiselta opiskelukieleltä. Yhteensopivuus arvioidaan kullekin vCRF:n muuttujalle käyttämällä Cohenin κ:ää sopivuuden mittana. eCREAM_LM katsotaan päteväksi, jos Cohenin κ on suurempi kuin 0,75.
Otoskoko
Olettaen, että eCREAM_LM:n ja kokeneiden päivystyslääkäreiden välillä on erinomainen sopimus (κ=0,80) vCRF:n täyttämisessä, vähintään 735 muistiinpanon näyte on tarpeen riittävän tarkkuuden saavuttamiseksi hyvän sopimuksen takaamiseksi (alempi luottamusraja 95 %:n luottamusväli Cohenin κ suurempi kuin 0,75). Tämä luku on suurin otoskoko, joka saadaan eri skenaarioissa, joissa kullekin muuttujalle sisältyy erilainen määrä luokkia (2–5) ja otokseen sisältyvien luokkien erilaiset marginaalijakaumat, mukaan lukien tasapainoiset jakaumat (esim. 5 luokkaa, joissa 20 % otoksesta on kussakin luokassa) ja erittäin epätasapainoiset tulokset (esim. 5 luokkaa, joissa 1,8 %, 7,3 %, 16,4 %, 29,1 % ja 45,5 % otoksesta). Koska joistakin muistiinpanoista saattaa puuttua kiinnostavaa tietoa, suoritamme tietojen validoinnin arvioinnin 1 000 setelille.
Opintotyyppi
Ilmoittautuminen (Arvioitu)
Yhteystiedot ja paikat
Opiskeluyhteys
- Nimi: Chiara Pandolfini
- Puhelinnumero: 0039 02 39014 253
- Sähköposti: chiara.pandolfini@marionegri.it
Tutki yhteystietojen varmuuskopiointi
- Nimi: Giulia Ghilardi
- Puhelinnumero: 0039 035 4535 313
- Sähköposti: giulia.ghilardi@marionegri.it
Opiskelupaikat
-
-
-
Catania, Italia
- Ei vielä rekrytointia
- AOU Policlinico 'G.Rodolico - San Marco'
-
Ottaa yhteyttä:
- Giuseppe Carpinteri
- Puhelinnumero: +39 095 378 1111
- Sähköposti: gicarpinteri@gmail.com
-
Milan, Italia
- Ei vielä rekrytointia
- Ospedale Luigi Sacco
-
Ottaa yhteyttä:
- Anna Maria Brambilla
- Puhelinnumero: +39 02 39041
- Sähköposti: brambilla.annamaria@asst-fbf-sacco.it
-
Milan, Italia
- Ei vielä rekrytointia
- ASST Grande Ospedale Metropolitano Niguarda
-
Ottaa yhteyttä:
- Nicolò Capsoni
- Puhelinnumero: +39 02 64441
- Sähköposti: nicolo.capsoni@gmail.com
-
Orbassano, Italia
- Ei vielä rekrytointia
- Ospedale San Luigi Gonzaga
-
Ottaa yhteyttä:
- Valeria Caramello
- Puhelinnumero: v.caramello@sa +39 011 90261
-
Pozzuoli, Italia
- Ei vielä rekrytointia
- Ospedale Santa Maria delle Grazie
-
Ottaa yhteyttä:
- Giovanni Porta
- Puhelinnumero: +39 081 855 2320
- Sähköposti: dottorgiovanniporta@gmail.com
-
Torino, Italia
- Rekrytointi
- Ospedale San Giovanni Bosco
-
Ottaa yhteyttä:
- Franco Aprà
- Puhelinnumero: +39 011 240 2210
- Sähköposti: franco.apra@aslcittaditorino.it
-
Vercelli, Italia
- Rekrytointi
- Ospedale Sant'Andrea
-
Ottaa yhteyttä:
- Sergio Tartaglia
- Puhelinnumero: +39 0161 593111
- Sähköposti: srtartaglia@gmail.com
-
-
Milan
-
Milan, Milan, Italia, 20156
- Ei vielä rekrytointia
- Istituto di Ricerche Farmacologiche Mario Negri IRCCS
-
Ottaa yhteyttä:
- Guido Bertolini, MD
- Sähköposti: guido.bertolini@marionegri.it
-
-
Osallistumiskriteerit
Kelpoisuusvaatimukset
Opintokelpoiset iät
- Aikuinen
- Vanhempi Aikuinen
Hyväksyy terveitä vapaaehtoisia
Näytteenottomenetelmä
Tutkimusväestö
Kuvaus
Sisällyttämiskriteerit:
- Aikuinen
- Saapui päivystykseen 1.1.2021-31.12.2023 välisenä aikana
Poissulkemiskriteerit:
- Ei mitään
Opintosuunnitelma
Miten tutkimus on suunniteltu?
Suunnittelun yksityiskohdat
Kohortit ja interventiot
Ryhmä/Kohortti |
Interventio / Hoito |
|---|---|
|
Päivystykseen osallistuneet aikuiset
|
ei väliintuloa
|
Mitä tutkimuksessa mitataan?
Ensisijaiset tulostoimenpiteet
Tulosmittaus |
Toimenpiteen kuvaus |
Aikaikkuna |
|---|---|---|
|
Yhteensopivuus virtuaalisen tapausraporttilomakkeen täyttämisessä
Aikaikkuna: 1 kuukausi
|
Asiantuntijalääkäreiden ja eCREAM_LM-kielimallin välisen virtuaalisen tapausraporttilomakkeen täyttämisen yhteensopivuustaso
|
1 kuukausi
|
Yhteistyökumppanit ja tutkijat
Tutkijat
- Päätutkija: Guido Bertolini, Istituto Di Ricerche Farmacologiche Mario Negri
Opintojen ennätyspäivät
Opi tärkeimmät päivämäärät
Opiskelun aloitus (Todellinen)
Ensisijainen valmistuminen (Arvioitu)
Opintojen valmistuminen (Arvioitu)
Opintoihin ilmoittautumispäivät
Ensimmäinen lähetetty
Ensimmäinen toimitettu, joka täytti QC-kriteerit
Ensimmäinen Lähetetty (Todellinen)
Tutkimustietojen päivitykset
Viimeisin päivitys julkaistu (Todellinen)
Viimeisin lähetetty päivitys, joka täytti QC-kriteerit
Viimeksi vahvistettu
Lisää tietoa
Tähän tutkimukseen liittyvät termit
Muita asiaankuuluvia MeSH-ehtoja
Muut tutkimustunnusnumerot
- 8780
Yksittäisten osallistujien tietojen suunnitelma (IPD)
Aiotko jakaa yksittäisten osallistujien tietoja (IPD)?
IPD-suunnitelman kuvaus
IPD-jaon aikakehys
IPD-jakamista tukeva tietotyyppi
- STUDY_PROTOCOL
- CSR
Lääke- ja laitetiedot, tutkimusasiakirjat
Tutkii yhdysvaltalaista FDA sääntelemää lääkevalmistetta
Tutkii yhdysvaltalaista FDA sääntelemää laitetuotetta
Yhdysvalloissa valmistettu ja sieltä viety tuote
Nämä tiedot haettiin suoraan verkkosivustolta clinicaltrials.gov ilman muutoksia. Jos sinulla on pyyntöjä muuttaa, poistaa tai päivittää tutkimustietojasi, ota yhteyttä register@clinicaltrials.gov. Heti kun muutos on otettu käyttöön osoitteessa clinicaltrials.gov, se päivitetään automaattisesti myös verkkosivustollemme .