Développement d'un outil de traitement du langage naturel pour permettre la recherche clinique en médecine d'urgence (NLP-DeVal)

CONTEXTE ET JUSTIFICATION DE L’ÉTUDE

Mener des recherches sur l’évaluation clinique et de la qualité des soins en médecine d’urgence est aussi difficile qu’important. Cela est difficile car le grand nombre de patients à traiter et le manque chronique de personnel rendent difficile la collecte de données ponctuelles. C’est important parce qu’en fin de compte, la recherche permet aux urgentistes et aux infirmières de fonder leur pratique sur des preuves obtenues dans leur propre contexte, par opposition aux preuves obtenues dans des contextes éloignés, comme c’est généralement le cas aujourd’hui.

La seule façon de combler le fossé entre les besoins de recherche et la disponibilité de données robustes est d’extraire les données directement des dossiers de santé électroniques (DSE) des services d’urgence, évitant ainsi une collecte de données dédiée et fastidieuse. Il s’agit cependant d’une tâche difficile, car les informations les plus utiles sont sous forme de texte libre (par exemple, présence de signes et symptômes, diagnostic suspecté et confirmé, anamnèse). De telles circonstances et besoins nécessitent un outil fiable de traitement du langage naturel (NLP) pour dériver des données hautement cohérentes à partir de texte libre.

Aujourd’hui, il existe des modèles linguistiques à grande échelle capables d’interpréter avec précision le langage naturel. Ces modèles sont toutefois formés à partir d’énormes quantités de connaissances générales provenant principalement d’Internet, de sorte que leurs performances dans des domaines plus spécialisés, tels que le domaine médical, peuvent ne pas être optimales.

La présente étude fait partie d'un projet plus vaste appelé eCREAM (permettant la recherche clinique en médecine d'urgence et de soins aigus) et vise à développer et valider un modèle de langage (appelé eCREAM_LM) ​​pour six langues capables d'interpréter le contenu des DSE des services d'urgence et extraire des informations pertinentes à des fins de recherche.

MÉTHODES

L'étude est une étude observationnelle, multicentrique et rétrospective d'une durée de 24 mois. Trente centres participeront à l'étude : 13 d'Italie, 4 de Pologne, 3 de Grèce, de Slovaquie, de Slovénie et du Royaume-Uni et 1 de Suisse. Les centres ne recevront aucune compensation, mais leurs dépenses seront couvertes par les fonds du projet.

Développement et validation du modèle eCREAM_LM.

eCREAM_LM sera développé grâce à la formation et à la mise au point du meilleur modèle global, parmi ceux open source, et se déroulera en phases partiellement parallèles. Les modèles candidats seront exposés à une quantité énorme (des milliards) de textes médicaux issus de la littérature scientifique ou d'autres sources publiques. Simultanément, les modèles seront également exposés à une quantité massive (des millions) de notes en texte libre obtenues à partir des dossiers médicaux utilisés dans les hôpitaux participants. Nous passerons ensuite à la mise au point, où une grande quantité (des milliers) de notes cliniques, obtenues, là encore, à partir des dossiers médicaux des centres participants, seront utilisées. Ces notes seront annotées par des médecins expérimentés, ce qui consiste à extraire des informations des notes pour remplir les éléments de données répertoriés dans un formulaire de collecte de données virtuelle (vCRF). Le vCRF a été créé pour une étude connexe et contient un ensemble de variables utiles pour prédire l'hospitalisation de patients souffrant de dyspnée ou de perte de conscience transitoire, ce qui est l'objectif de l'étude connexe. Dans la présente étude, le vCRF servira d'outil de validation du modèle de langage.

La validation de eCREAM_LM sera réalisée à l'aide d'un ensemble de 1 000 notes cliniques annotées comme décrit ci-dessus, mais non utilisées en phase de développement. Ces notes seront soumises au modèle eCREAM_LM avec pour tâche de compiler le vCRF. La concordance de remplissage du vCRF entre les médecins experts et l'eCREAM_LM sera la mesure de validation finale de l'eCREAM_LM.

Collecte et anonymisation des données

Chaque hôpital participant fournira gratuitement des notes textuelles contenues dans les dossiers médicaux de 150 à 300 000 patients adultes traités entre 2021 et 2023. Les notes faisant référence à différents aspects d'un même patient (par exemple, antécédents, examen objectif, résultats de tests) seront séparées les unes des autres de sorte qu'il sera impossible de reconstituer le profil complet du patient. De plus, les notes seront débarrassées de toute référence au patient (ex. : prénom, nom, date de naissance) et au contexte (ex. : hôpital, date et heure d'arrivée au centre). Ce processus minimise la probabilité de ré-identification des patients et maximise la protection de leurs droits. La probabilité de réidentifier un patient dans une base de données dépend de la manière dont ses caractéristiques sont uniques par rapport aux autres individus de la base de données. La probabilité d’avoir des patients uniques, et donc identifiables, augmente avec la quantité d’informations disponibles dans la base de données et diminue avec sa taille. En supprimant toutes les informations personnelles et contextuelles des notes cliniques et en séparant chaque note des autres, chaque note ne rapportera que quelques caractéristiques du patient. De plus, les données collectées auprès des hôpitaux d'un même pays seront fusionnées afin de disposer d'une grande base de données pour chaque langue. Cela élimine effectivement la probabilité qu’il y ait des individus identifiables de manière unique à partir des notes.

Enfin, pour exclure la possibilité que les notes contiennent des informations sur des tiers, telles que les noms et numéros de téléphone des proches des patients, un logiciel d'anonymisation certifié, spécialement conçu pour supprimer les données personnelles du texte libre, sera installé dans chaque hôpital.

Une fois anonymisées, les données seront centralisées pour analyse et seront également téléchargées sur les principales plateformes européennes de partage de ressources linguistiques au sein de la communauté scientifique.

analyses statistiques

Dans la validation eCREAM_LM, nous évaluerons la concordance entre les médecins urgentistes experts et l'eCREAM_LM lui-même pour remplir le vCRF. Les données se référeront à un échantillon de 1 000 notes pour chaque langue étudiée. La concordance sera évaluée pour chaque variable du vCRF en utilisant le κ de Cohen comme mesure d'accord. L'eCREAM_LM sera considéré comme valide si le κ de Cohen est supérieur à 0,75.

Taille de l'échantillon

En supposant un excellent accord (κ = 0,80) entre eCREAM_LM et les urgentistes expérimentés pour remplir le vCRF, un échantillon d'au moins 735 notes sera nécessaire pour obtenir une précision suffisante pour garantir un bon accord (limite de confiance inférieure de 95 % d'intervalle de confiance de κ de Cohen supérieur à 0,75). Ce nombre est la taille maximale de l'échantillon obtenue dans différents scénarios impliquant un nombre différent de catégories (2 à 5) pour chaque variable et différentes distributions marginales des catégories dans l'échantillon, y compris des distributions équilibrées (par exemple, 5 catégories avec 20 % de l'échantillon dans chaque catégorie) et des résultats très déséquilibrés (ex. 5 catégories avec 1,8%, 7,3%, 16,4%, 29,1% et 45,5% de l'échantillon). Étant donné que des informations intéressantes peuvent manquer dans certaines notes, nous effectuerons l'évaluation de validation des données sur 1 000 notes.