Entwicklung eines Tools zur Verarbeitung natürlicher Sprache, um klinische Forschung in der Notfallmedizin zu ermöglichen (NLP-DeVal)

HINTERGRUND UND BEGRÜNDUNG DER STUDIE

Die Durchführung klinischer Forschung und Forschung zur Beurteilung der Versorgungsqualität in der Notfallmedizin ist ebenso schwierig wie wichtig. Dies ist schwierig, da die große Zahl der zu behandelnden Patienten und der chronische Personalmangel eine Ad-hoc-Datenerfassung undurchführbar machen. Dies ist wichtig, da die Forschung es Notärzten und Krankenpflegern letztendlich ermöglicht, ihre Praxis auf Erkenntnissen zu stützen, die in ihrem eigenen, einzigartigen Umfeld gewonnen wurden, im Gegensatz zu Erkenntnissen, die in weit entfernten Kontexten gewonnen wurden, wie es heute häufig der Fall ist.

Die einzige Möglichkeit, die Lücke zwischen Forschungsbedarf und der Verfügbarkeit belastbarer Daten zu schließen, besteht darin, Daten direkt aus den elektronischen Gesundheitsakten (EHRs) von Notaufnahmen zu extrahieren und so eine dedizierte, zeitaufwändige Datenerfassung zu vermeiden. Dies ist jedoch eine schwierige Aufgabe, da die nützlichsten Informationen im Freitextformat vorliegen (z. B. Vorliegen von Anzeichen und Symptomen, vermutete und bestätigte Diagnose, Anamnese). Solche Umstände und Anforderungen erfordern ein zuverlässiges NLP-Tool (Natural Language Processing), um hochkonsistente Daten aus Freitext abzuleiten.

Heutzutage stehen umfangreiche Sprachmodelle zur Verfügung, die natürliche Sprache genau interpretieren können. Diese Modelle basieren jedoch auf riesigen Mengen an allgemeinem Wissen, das größtenteils aus dem Internet stammt, sodass ihre Leistung in spezielleren Bereichen wie dem medizinischen Bereich möglicherweise nicht optimal ist.

Die vorliegende Studie ist Teil eines größeren Projekts namens eCREAM (enabling Clinical Research in Emergency and Acute-care Medicine) und zielt darauf ab, ein Sprachmodell (genannt eCREAM_LM) ​​für sechs Sprachen zu entwickeln und zu validieren, das die Inhalte von EHRs der Notaufnahme interpretieren kann Extrahieren Sie relevante Informationen für Forschungszwecke.

METHODEN

Bei der Studie handelt es sich um eine beobachtende, multizentrische, retrospektive 24-monatige Studie. An der Studie werden 30 Zentren teilnehmen: 13 aus Italien, 4 aus Polen, 3 aus Griechenland, der Slowakei, Slowenien und dem Vereinigten Königreich sowie 1 aus der Schweiz. Die Zentren erhalten keine Entschädigung, ihre Kosten werden jedoch aus Projektmitteln gedeckt.

Entwicklung und Validierung des eCREAM_LM-Modells.

eCREAM_LM wird durch Training und Feinabstimmung des besten Gesamtmodells unter den Open-Source-Modellen entwickelt und in teilweise parallelen Phasen durchgeführt. Kandidatenmodelle werden einer riesigen Menge (Milliarden) medizinischer Texte aus der wissenschaftlichen Literatur oder anderen öffentlichen Quellen ausgesetzt sein. Gleichzeitig werden die Modelle auch einer riesigen Menge (Millionen) Freitextnotizen ausgesetzt, die aus den in den teilnehmenden Krankenhäusern verwendeten Krankenakten stammen. Anschließend gehen wir zur Feinabstimmung über, bei der eine große Menge (Tausende) klinischer Notizen verwendet werden, die wiederum aus den Krankenakten der teilnehmenden Zentren stammen. Diese Notizen werden von erfahrenen Ärzten mit Anmerkungen versehen. Dies besteht darin, Informationen aus den Notizen zu extrahieren, um die in einem virtuellen Datenerfassungsformular (vCRF) aufgeführten Datenelemente auszufüllen. Der vCRF wurde für eine verwandte Studie erstellt und enthält eine Reihe von Variablen, die zur Vorhersage der Krankenhauseinweisung von Patienten mit Dyspnoe oder vorübergehendem Bewusstseinsverlust nützlich sind, was das Ziel der entsprechenden Studie ist. In der aktuellen Studie wird der vCRF als Werkzeug zur Validierung des Sprachmodells dienen.

Die Validierung von eCREAM_LM erfolgt anhand eines Satzes von 1.000 klinischen Notizen, die wie oben beschrieben mit Anmerkungen versehen, aber nicht in der Entwicklungsphase verwendet werden. Diese Notizen werden an das eCREAM_LM-Modell mit der Aufgabe übermittelt, das vCRF zu kompilieren. Die Übereinstimmung beim Ausfüllen des vCRF zwischen den Fachärzten und dem eCREAM_LM ist das Maß für die endgültige Validierung von eCREAM_LM.

Datenerhebung und Anonymisierung

Jedes teilnehmende Krankenhaus stellt kostenlose Textnotizen zur Verfügung, die in den Krankenakten von 150.000 bis 300.000 erwachsenen Patienten enthalten sind, die zwischen 2021 und 2023 behandelt wurden. Notizen, die sich auf verschiedene Aspekte desselben Patienten beziehen (z. B. Anamnese, objektive Untersuchung, Testergebnisse), werden voneinander getrennt, sodass es unmöglich ist, das vollständige Profil des Patienten zu rekonstruieren. Darüber hinaus werden in den Notizen jegliche Hinweise auf den Patienten (z. B. Vorname, Nachname, Geburtsdatum) und Kontext (z. B. Krankenhaus, Datum und Uhrzeit der Ankunft im Zentrum) entfernt. Dieser Prozess minimiert die Wahrscheinlichkeit einer erneuten Identifizierung von Patienten und maximiert den Schutz ihrer Rechte. Die Wahrscheinlichkeit, einen Patienten innerhalb einer Datenbank erneut zu identifizieren, hängt davon ab, wie einzigartig seine Merkmale im Vergleich zu anderen Personen in der Datenbank sind. Die Wahrscheinlichkeit, eindeutige und damit identifizierbare Patienten zu haben, steigt mit der Menge der in der Datenbank verfügbaren Informationen und sinkt mit deren Größe. Durch das Entfernen aller persönlichen und kontextbezogenen Informationen aus klinischen Notizen und die Trennung der einzelnen Notizen von den anderen werden in jeder Notiz nur einige wenige Merkmale des Patienten aufgeführt. Darüber hinaus werden die von Krankenhäusern im selben Land gesammelten Daten zusammengeführt, sodass für jede Sprache eine große Datenbank entsteht. Dadurch wird die Wahrscheinlichkeit, dass es Personen gibt, die anhand der Notizen eindeutig identifizierbar sind, effektiv auf Null gesetzt.

Um schließlich auszuschließen, dass die Notizen Informationen über Dritte, wie Namen und Telefonnummern von Angehörigen von Patienten, enthalten, wird in jedem Krankenhaus eine zertifizierte Anonymisierungssoftware installiert, die speziell darauf ausgelegt ist, personenbezogene Daten aus Freitexten zu entfernen.

Sobald die Daten anonymisiert sind, werden sie zur Analyse zentralisiert und auch auf die wichtigsten europäischen Plattformen für die gemeinsame Nutzung sprachlicher Ressourcen in der wissenschaftlichen Gemeinschaft hochgeladen.

statistische Analyse

Bei der eCREAM_LM-Validierung werden wir die Übereinstimmung zwischen erfahrenen Notärzten und dem eCREAM_LM selbst beim Ausfüllen des vCRF bewerten. Die Daten beziehen sich auf eine Stichprobe von 1.000 Notizen für jede Studiensprache. Die Übereinstimmung wird für jede Variable des vCRF unter Verwendung von Cohens κ als Maß für die Übereinstimmung bewertet. Der eCREAM_LM gilt als gültig, wenn Cohens κ größer als 0,75 ist.

Probengröße

Unter der Annahme einer hervorragenden Übereinstimmung (κ=0,80) zwischen eCREAM_LM und den erfahrenen Notärzten beim Ausfüllen des vCRF ist eine Stichprobe von mindestens 735 Notizen erforderlich, um eine ausreichende Präzision zu erreichen und eine gute Übereinstimmung zu gewährleisten (untere Konfidenzgrenze von 95 % Konfidenzintervall von Cohens κ größer als 0,75). Diese Zahl ist die maximale Stichprobengröße, die in verschiedenen Szenarien mit einer unterschiedlichen Anzahl von Kategorien (2 bis 5) für jede Variable und unterschiedlichen Randverteilungen der Kategorien in der Stichprobe, einschließlich ausgewogener Verteilungen (z. B. 5 Kategorien mit 20 % der Stichprobe), ermittelt wird in jeder Kategorie) und sehr unausgewogene Ergebnisse (z. B. 5 Kategorien mit 1,8 %, 7,3 %, 16,4 %, 29,1 % und 45,5 % der Stichprobe). Da in einigen Notizen möglicherweise interessante Informationen fehlen, führen wir die Datenvalidierungsbewertung für 1.000 Notizen durch.