Desenvolvimento de uma ferramenta de processamento de linguagem natural para possibilitar pesquisas clínicas em medicina de emergência (NLP-DeVal)

ANTECEDENTES E JUSTIFICATIVA DO ESTUDO

A realização de pesquisas de avaliação clínica e de qualidade de atendimento em medicina de emergência é tão difícil quanto importante. É difícil porque o grande número de pacientes que precisam de ser tratados e a escassez crónica de pessoal tornam impraticável a recolha de dados ad hoc. É importante porque, em última análise, a investigação permite que médicos e enfermeiros de emergência baseiem a sua prática em evidências obtidas no seu próprio e único ambiente, em oposição a evidências obtidas em contextos distantes, como é habitualmente o caso hoje em dia.

A única forma de colmatar a lacuna entre as necessidades de investigação e a disponibilidade de dados robustos é extrair dados diretamente dos registos de saúde eletrónicos (EHR) dos serviços de emergência, evitando a recolha de dados dedicada e demorada. Esta é uma tarefa difícil, no entanto, porque a informação mais útil está em formato de texto livre (por exemplo, presença de sinais e sintomas, diagnóstico suspeito e confirmado, anamnese). Tais circunstâncias e necessidades exigem uma ferramenta confiável de processamento de linguagem natural (PNL) para obter dados altamente consistentes de texto livre.

Hoje, estão disponíveis modelos de linguagem em larga escala que podem interpretar com precisão a linguagem natural. No entanto, estes modelos são treinados com base em enormes quantidades de conhecimento geral obtido principalmente da Internet, pelo que o seu desempenho em áreas mais especializadas, como o domínio médico, pode não ser o ideal.

O presente estudo faz parte de um projeto maior denominado eCREAM (permitindo Pesquisa Clínica em Medicina de Emergência e Cuidados Agudos), e tem como objetivo desenvolver e validar um modelo de linguagem (denominado eCREAM_LM) ​​para seis idiomas que possa interpretar o conteúdo dos EHRs do departamento de emergência e extrair informações relevantes para fins de pesquisa.

MÉTODOS

O estudo é um estudo observacional, multicêntrico, retrospectivo, de 24 meses. Participarão no estudo trinta centros: 13 de Itália, 4 da Polónia, 3 da Grécia, Eslováquia, Eslovénia e Reino Unido e 1 da Suíça. Os centros não receberão qualquer compensação, mas as suas despesas serão cobertas pelos fundos do projecto.

Desenvolvimento e validação do modelo eCREAM_LM.

O eCREAM_LM será desenvolvido através de treinamento e ajuste fino do melhor modelo geral, entre aqueles de código aberto, e prosseguirá em fases parcialmente paralelas. Os modelos candidatos serão expostos a uma enorme quantidade (bilhões) de textos médicos da literatura científica ou de outras fontes públicas. Simultaneamente, os modelos também serão expostos a uma enorme quantidade (milhões) de notas de texto livre obtidas de registros médicos em uso nos hospitais participantes. Passaremos então ao ajuste fino, onde será utilizada uma grande quantidade (milhares) de notas clínicas, obtidas, mais uma vez, dos prontuários dos centros participantes. Essas anotações serão anotadas por médicos experientes, o que consiste em extrair informações das anotações para preencher os itens de dados listados em um formulário virtual de coleta de dados (vCRF). O vCRF foi criado para um estudo relacionado e contém um conjunto de variáveis ​​úteis na predição da hospitalização de pacientes com dispneia ou perda transitória de consciência, que é o objetivo do estudo relacionado. No presente estudo, o vCRF servirá como ferramenta de validação do modelo de linguagem.

A validação do eCREAM_LM será realizada através de um conjunto de 1.000 notas clínicas anotadas conforme descrito acima, mas não utilizadas na fase de desenvolvimento. Estas notas serão submetidas ao modelo eCREAM_LM com a tarefa de compilar o vCRF. A concordância no preenchimento do vCRF entre os médicos especialistas e o eCREAM_LM será a medida de validação final do eCREAM_LM.

Coleta de dados e anonimização

Cada hospital participante fornecerá notas de texto gratuitas contidas nos registros médicos de 150 a 300 mil pacientes adultos tratados entre 2021 e 2023. As notas referentes a diferentes aspectos do mesmo paciente (por exemplo, história, exame objetivo, resultados de exames) serão separadas umas das outras de modo que será impossível reconstruir o perfil completo do paciente. Além disso, as anotações serão despojadas de qualquer referência ao paciente (por exemplo, nome, sobrenome, data de nascimento) e contexto (por exemplo, hospital, data e hora de chegada ao centro). Este processo minimiza a probabilidade de reidentificação dos pacientes e maximiza a proteção dos seus direitos. A probabilidade de reidentificar um paciente em um banco de dados depende de quão únicas são suas características em relação a outros indivíduos no banco de dados. A probabilidade de ter pacientes únicos e, portanto, identificáveis, aumenta com a quantidade de informação disponível na base de dados e diminui com o seu tamanho. Ao retirar todas as informações pessoais e contextuais das notas clínicas e separar cada nota das demais, cada nota relatará apenas algumas características do paciente. Além disso, os dados recolhidos em hospitais do mesmo país serão fundidos para que haja uma grande base de dados para cada idioma. Isso efetivamente zera a probabilidade de haver indivíduos identificáveis ​​exclusivamente nas notas.

Por fim, para descartar a possibilidade de as notas conterem informações sobre terceiros, como nomes e números de telefone de familiares de pacientes, será instalado em cada hospital um software de anonimato certificado, projetado especificamente para remover dados pessoais de texto livre.

Uma vez anonimizados, os dados serão centralizados para análise e também serão carregados nas principais plataformas europeias de partilha de recursos linguísticos na comunidade científica.

Análise estatística

Na validação do eCREAM_LM avaliaremos a concordância entre médicos especialistas em emergência e o próprio eCREAM_LM no preenchimento do vCRF. Os dados serão referentes a uma amostra de 1.000 notas para cada idioma de estudo. A concordância será avaliada para cada variável do vCRF usando κ de Cohen como medida de concordância. O eCREAM_LM será considerado válido se o κ de Cohen for maior que 0,75.

Tamanho da amostra

Assumindo uma concordância excelente (κ=0,80) entre o eCREAM_LM e os médicos de emergência experientes no preenchimento do vCRF, será necessária uma amostra de pelo menos 735 notas para alcançar precisão suficiente para garantir uma boa concordância (limite de confiança inferior de intervalo de confiança de 95% de κ de Cohen maior que 0,75). Este número é o tamanho máximo da amostra obtido em diferentes cenários envolvendo um número diferente de categorias (2 a 5) para cada variável e diferentes distribuições marginais das categorias na amostra, incluindo distribuições equilibradas (por exemplo, 5 categorias com 20% da amostra em cada categoria) e resultados muito desequilibrados (e.g., 5 categorias com 1,8%, 7,3%, 16,4%, 29,1% e 45,5% da amostra). Como podem faltar informações de interesse em algumas notas, realizaremos a avaliação de validação de dados em 1.000 notas.