Triagem por Inteligência Artificial de Pacientes que Requerem Cuidados de Emergência ou Não Programados e Precisam de Encaminhamento Hospitalar (TRIAGE)

Introdução – justificação científica 1.1. Contexto À medida que a população envelhece e a prevalência de doenças crónicas aumenta, o número de médicos de clínica geral está a diminuir. Este desequilíbrio crescente entre as necessidades médicas e a oferta está a levar a dificuldades no acesso aos cuidados primários, particularmente aos cuidados urgentes e não programados.

Para resolver este problema, a França criou um serviço de acesso a cuidados de saúde (SAS). Em caso de necessidades de cuidados urgentes ou não programados, o SAS permite que indivíduos cujo médico de clínica geral não está disponível acedam a um profissional de saúde. Dependendo da situação, o serviço pode fornecer aconselhamento médico, oferecer uma teleconsulta, encaminhar a pessoa para um médico local ou serviço de urgência, ou mesmo chamar uma unidade móvel de emergência e reanimação (SMUR) ou ambulância. O SAS funciona como um sistema de triagem, fornecendo uma resposta adaptada às necessidades de cada indivíduo.

O objetivo deste projeto é estudar certos aspetos da validade de um modelo de triagem por inteligência artificial (IA) para doentes que procuram cuidados urgentes ou não programados, permitindo a identificação de doentes que necessitarão de tratamento hospitalar.

Este projeto segue-se a um estudo anterior que desenvolveu um modelo usando IA para triar doentes utilizando o SOS Médecins Grand Paris. Tal como no SAS, as pessoas que ligam para o SOS Médecins apresentam o seu problema a um assistente de despacho médico (MDA), que na maioria dos casos organiza uma visita domiciliária.

As bases de dados do SOS Médecins contêm gravações áudio dos pedidos de cuidados e as decisões médicas tomadas pelos médicos após as suas visitas domiciliárias, incluindo se o doente foi ou não encaminhado para o hospital (os dados sobre os resultados dos doentes são exaustivos). Foi assim desenvolvido um modelo preditivo da utilização de serviços hospitalares pelos doentes após uma visita domiciliária por um médico do SOS, utilizando IA. O modelo "ouve" as trocas entre o doente e o MDA e prevê a utilização de serviços hospitalares após a visita domiciliária do médico.

O modelo e o seu desenvolvimento são objeto de um artigo atualmente submetido para publicação numa revista internacional. Durante a fase de teste, obteve uma área sob a curva ROC (característica de operação do recetor) de 0,80. Em última análise, o modelo baseado em IA terá de operar em tempo real e fornecer informações aos MDAs para os auxiliar no seu trabalho. Por enquanto, o objetivo deste projeto é completar a validação do sistema. Terá depois de ser implementado e testado em condições reais para determinar os benefícios da triagem de doentes pelos MDAs utilizando as previsões do modelo.

Deve notar-se que, embora o SOS Médecins não seja o mesmo que o SAS, é semelhante. Em primeiro lugar, as duas estruturas funcionam de forma semelhante: um MDA contactado por telefone tenta responder a um pedido de cuidados urgentes ou não programados. A gama de respostas possíveis é a mesma para ambas as estruturas (o SOS não oferece apenas visitas domiciliárias, também realiza consultas presenciais ou por vídeo e transfere certas chamadas para o serviço médico de emergência), tal como a utilização da perícia de um médico, se necessário (regulação médica). Em segundo lugar, o SOS Médecins é um dos efetores a jusante do SAS. Mais antigo e melhor conhecido do público em geral e dos profissionais de saúde do que o SAS (que atualmente cobre apenas 60% do território nacional), o SOS poderia ter um processo de recrutamento muito semelhante ao deste novo serviço. Até onde sabemos, ainda não existem estatísticas sobre o SAS que permitam uma comparação das atividades das duas estruturas. Neste contexto, a validação dentro do SAS do modelo desenvolvido com dados do SOS será, portanto, necessária. Se, no futuro, os dados mostrarem que as duas estruturas são semelhantes, o SAS poderá beneficiar deste projeto desenvolvido no SOS. Os dados do SOS têm uma vantagem significativa sobre os dados do SAS: contêm informações sobre os resultados dos doentes, incluindo se foram ou não ao serviço de urgência hospitalar. Esta rotulagem das chamadas permitiu a aprendizagem supervisionada de um modelo de IA.

Este projeto, que até onde sabemos é único, abre caminho para uma assistência de triagem que pode ser utilizada no SAS (e talvez até certo ponto nos serviços de urgência).

1.2. Benefícios para os doentes e para o sistema de saúde A identificação precoce de doentes com alto risco de hospitalização, alguns dos quais têm condições que exigem cuidados de emergência num ambiente especializado, deve facilitar a tomada de decisões clínicas e, em última análise, melhorar a saúde dos doentes. Isto diz respeito principalmente a doentes com condições cujo prognóstico está diretamente ligado à velocidade de prestação de cuidados, como condições isquémicas graves, respiratórias, traumáticas ou infeciosas, que beneficiarão de serem hospitalizados sem esperar que um médico os visite em casa. O benefício para os doentes será, portanto, uma redução nas oportunidades perdidas devido a erros de triagem.

Além disso, a triagem a montante dos serviços de urgência (tal como proposto pelo anterior Ministro da Saúde e implementado em alguns serviços de urgência com falta de pessoal e é prática habitual na Dinamarca) melhorará o funcionamento dos serviços de urgência hospitalares, onde o excesso de atividade tem um impacto na mortalidade de doentes idosos que recebem cuidados. Em termos de saúde pública, a introdução de um sistema de triagem eficaz poderia, portanto, melhorar o acesso a cuidados urgentes e não programados.

Objetivos de investigação e critérios de avaliação O modelo de triagem baseado em IA utilizado para identificar doentes que precisam de ser encaminhados para o hospital já foi desenvolvido e testado utilizando chamadas para o SOS Médecins Grand Paris. Um artigo está atualmente a ser publicado. Portanto, este projeto não se centra no desenvolvimento ou validação interna do modelo de triagem, mas noutros aspetos relacionados com a sua validação: validação prospetiva e externa; comparação das suas previsões com as de um perito médico; investigação da discriminação social que poderia estar associada à sua utilização; e a determinação das condições reais da sua utilização em ambientes de saúde.

2.1. Objetivo e endpoint primário A avaliação prospetiva do desempenho de modelos preditivos em dados operacionais do mundo real é um passo crucial para integrar estes modelos no contexto clínico e avaliar o seu impacto nos cuidados aos doentes.

- Objetivo primário (OP): Validação prospetiva do modelo de triagem utilizado para identificar doentes que serão encaminhados para o hospital após uma visita domiciliária por um médico.

A área sob a curva ROC (AROC) fornece uma medida global do desempenho de um sistema de classificação.

Deve notar-se que todos os dados utilizados neste estudo são retrospetivos. O modelo foi concebido utilizando dados de 2023 e anteriores (até e incluindo 2017), e os dados "prospetivos" são os subsequentes à sua conceção e serão os dados de 2024.

- Endpoint primário (EP): Comparação das AROCs obtidas a partir de amostras representativas de dados retrospetivos e prospetivos do SOS Médecins Paris.

2.2. Objetivos e endpoints secundários A validação externa em dados de doentes de locais geográficos separados é necessária para compreender como modelos desenvolvidos num local podem ser implementados de forma segura e eficaz noutros locais.

- Objetivo Secundário #1 (OS1): Validação externa do modelo de triagem

• Endpoint Secundário #1 (ESP1): Comparação das AROCs obtidas a partir de amostras representativas de dados retrospetivos do SOS Médecins Grand Paris e Ajaccio.
• ESP2: Comparação das previsões do modelo de triagem com as de um médico perito.
• Endpoint Secundário #2 (ESP2): Comparação das taxas de previsão correta entre o modelo de triagem e um médico perito numa amostra equilibrada não representativa (ou seja, composta por 50% de doentes encaminhados para o hospital após uma visita domiciliária pelo médico, em vez de 3% como é o caso na realidade) de dados do SOS Médecins Grand Paris.

Vários sistemas de triagem baseados em IA revelaram-se discriminatórios. Dois exemplos bem conhecidos ilustram este ponto:

• a seleção de engenheiros informáticos que se candidatam a empregos com base nos seus currículos: o sistema tinha sido treinado utilizando engenheiros existentes, que eram predominantemente homens, e prejudicava as mulheres;
• A deteção de melanomas a partir de imagens de dermatoscópio: o sistema tinha sido treinado utilizando tons de pele claros e não era tão eficaz em tons de pele escuros.
• OS3: Estudo de potenciais fenómenos de discriminação associados ao modelo, em relação às características sociais dos doentes.
• Endpoint secundário #3 (CJS3): Comparação das AROCs obtidas a partir de amostras representativas de dados do SOS Médecins Grand Paris para ambos os sexos.

A transição de um modelo preditivo validado para um dispositivo eficiente em condições reais é um desafio bem conhecido na IA.

- OS4: Determinação das condições reais de utilização do modelo pelos MDAs.

- Endpoint secundário #4 (ESP4): Redação de especificações para a implementação do sistema de triagem pelos MDAs

Seleção e exclusão de indivíduos do estudo 3.1. Critérios de inclusão Indivíduos de qualquer idade que receberam uma visita domiciliária de um médico do SOS após uma chamada em 2024 ou anterior.

3.2. Critérios de exclusão Indivíduos que não falam francês. Indivíduos sem seguro de saúde.

Descrição do estudo 4.1. Tipo de estudo Trata-se essencialmente de um estudo para validar um modelo de triagem de doentes baseado em IA. Será conduzido utilizando dados observacionais.

4.2. Processo de investigação 4.2.1. Local da investigação O estudo será conduzido nas instalações do SOS Médecins. Peritos médicos do SOS Médecins Grand Paris serão recrutados para realizar o OS2.

4.2.2. Métodos de recrutamento Serão utilizados dados recolhidos pelo SOS Médecins no decurso das suas atividades.

4.2.3. Procedimentos de cuidados aos doentes O projeto centra-se na necessidade de utilizar hospitais para satisfazer a procura de cuidados urgentes ou não programados por parte de doentes na comunidade. No entanto, não interferirá com os cuidados aos doentes.

4.2.4. Procedimentos de saída do estudo Doentes que solicitem ser excluídos serão excluídos.

4.2.5. Recolha de dados

• OP (validação prospetiva), OS1 (validação externa) e OS3 (discriminação):

Os dados utilizados serão os já recolhidos no decurso das atividades do SOS Médecins. Ambos os locais (Paris e Ajaccio, Córsega) utilizam o mesmo software para gerir as chamadas telefónicas desde o momento em que são recebidas e gravadas até ao final do processo de cuidados do SOS (ou seja, o final da visita domiciliária no nosso caso), incluindo a entrada de dados administrativos e médicos (ficha do SOS Médecins). Eis a lista de dados que serão utilizados e como serão processados para análise:

- Transcrições das gravações áudio das conversas entre doentes e MDAs. As previsões de IA serão feitas com base nestas transcrições (e apenas nestas transcrições).

• Dados da ficha do SOS Médecins:
• dia da semana, mês, ano e hora da chamada telefónica;
• o número da área censitária do local da visita será obtido a partir do endereço fornecido pelo doente. As áreas censitárias são as menores unidades espaciais para as quais existem dados estatísticos disponíveis, preservando o anonimato dos seus habitantes. Várias variáveis socioeconómicas do censo do INSEE (Instituto Nacional de Estatística e Estudos Económicos) estão disponíveis a este nível, tais como taxas de desemprego, licenciados do ensino secundário, trabalhadores, rendimento mediano, o índice de desvantagem social (também conhecido como FDep para French DEPrivation index) e EDI (para Ecological Deprivation Index). Estas diferentes variáveis fornecem medidas ecológicas (em oposição a individuais) da posição social dos indivíduos que lá residem;
• motivos da chamada, definidos pelo MDA, com base numa lista pré-definida mas não correspondendo a uma classificação internacional. Vários motivos podem ser relatados para a mesma chamada;
• nível de urgência (4 níveis), definido pelo MDA;
• data e hora do final da visita domiciliária, definidas pelo médico no final da visita
• Diagnósticos da consulta, definidos pelo médico no final da visita, com base numa lista pré-definida mas não correspondendo a uma classificação internacional. Vários motivos podem ser relatados para a mesma consulta.
• Estado do doente no final da visita (lista fechada: saiu do local, transferência para o serviço de urgência hospitalar, chamada dos serviços médicos de emergência).
• método de transferência para o serviço de urgência hospitalar (lista fechada: por meios próprios, ambulância, bombeiros, SMUR).
• OS2 (perito médico):

Alguns dados individuais serão recolhidos dos peritos médicos que participam na concretização deste objetivo: idade, género, tempo de prática global e dentro do SOS Médecins, especialidade.

Além disso, após a leitura das transcrições das trocas telefónicas entre doentes e ARMs, estes médicos serão solicitados a estimar a probabilidade de os doentes serem transferidos para o hospital.

Ser-lhes-ão colocadas duas perguntas:

• Qual é a probabilidade de este doente ser hospitalizado após a visita do médico do SOS? Responda colocando uma cruz na escala de 0 (sem hospitalização) a 100 (hospitalização).
• Qual é a sua certeza sobre esta probabilidade? Responda colocando uma cruz na escala de 0 (nenhuma certeza) a 100 (certeza total)

Descrição das intervenções do estudo Não há intervenções neste estudo, que é estritamente observacional.

No entanto, descrevemos aqui a organização do trabalho que será realizado para completar o OS2 e o OS4.

• OS2 (perito médico):

Para comparar as previsões do modelo de triagem sobre a utilização hospitalar com as de um perito médico, médicos do SOS Médecins Grand Paris com mais de cinco anos de experiência na organização serão recrutados voluntariamente. Cada um destes médicos será solicitado a estimar a probabilidade de utilização hospitalar para vários doentes/chamadas (ver §4.2.5. Recolha de dados).

- OS4 (condições reais): Será formado um grupo de trabalho composto por estatísticos, engenheiros informáticos, MDAs, médicos do SOS e investigadores de ergonomia para considerar a melhor forma de fornecer aos MDAs a probabilidade de utilização hospitalar. Várias questões terão de ser abordadas: como a probabilidade é exibida no ecrã, o limiar de probabilidade, se a chamada deve ser transferida para o médico de despacho (e, em caso afirmativo, a que limiar), a influência da probabilidade no nível de urgência da chamada conforme definido pelo MDA, e a possibilidade de dar prioridade a certos pedidos urgentes. Após uma primeira reunião de trabalho, uma versão será implementada com MDAs voluntários. Após a utilização inicial em condições reais, o feedback será recolhido e um novo experimento será conduzido. Finalmente, serão elaboradas especificações para implementação em condições reais (com as razões dadas para as escolhas feitas) para que o modelo de triagem possa ser implementado em diferentes plataformas de TI.

Análises estatísticas 6.1. Cálculo do número de sujeitos - OP (validação prospetiva): Para demonstrar que a AROC em dados prospetivos é diferente da ROC em dados retrospetivos, se forem observadas AROCs de 0,75 e 0,80, respetivamente, serão necessários 13.560 doentes/chamadas por amostra (ou seja, 407 doentes que serão encaminhados para o hospital e 13.153 doentes que não serão, de acordo com os 3% de doentes encaminhados para o hospital observados no SOS Médecins Grand Paris), assumindo um risco alfa de 5%, um poder de 90% e um teste bicaudal. Este resultado foi obtido utilizando a função power tworoc do software estatístico Stata.

- OS1 (validação externa): De acordo com o mesmo cálculo que para o OP, uma amostra de 13.560 doentes terá de ser mobilizada em Ajaccio, Córsega.

- OS2 (médicos peritos): Enquanto todas as outras análises serão baseadas em amostras representativas, esta análise será baseada numa amostra equilibrada (ou seja, composta por 50% de doentes que serão encaminhados para o hospital e 50% que não serão) por duas razões. Com uma taxa baixa de encaminhamentos hospitalares (3%) e um número baixo de chamadas a serem avaliadas para cada um dos médicos peritos, uma possível estratégia para um médico que queira garantir um bom desempenho seria nunca encaminhar doentes para o hospital. Além disso, uma amostra representativa não permitiria o estudo de falsos negativos (doentes com uma probabilidade estimada baixa de serem encaminhados para o hospital quando na verdade serão) porque haveria demasiado poucos.

Para destacar uma diferença na taxa de previsão correta entre o modelo de triagem e um médico perito, seriam necessárias 365 chamadas de doentes que utilizam o hospital (e o mesmo número de doentes que não o utilizam), assumindo uma taxa de previsão correta de 58% (ver apêndices §12.2 para a determinação desta taxa) e 68% (escolha a priori de 10 pontos percentuais adicionais) para o modelo de triagem e o médico perito, respetivamente, com um risco alfa de 5%, um poder de 80% e um teste bicaudal (função power twoproportions do Stata).

Com base numa avaliação de uma chamada a cada 5 minutos, será necessário um total de 61 horas de tempo de perito médico. Com base em 4 horas de trabalho por médico, isto corresponde a 16 peritos médicos a recrutar.

- OS3 (discriminação): De acordo com o mesmo cálculo que para o OP, uma amostra de 13.560 doentes de cada género terá de ser mobilizada se quisermos mostrar uma diferença na AROC do modelo de triagem entre homens e mulheres. O rácio de sexos das pessoas que ligam para o SOS Médecins Grand Paris é próximo de 1. Serão utilizadas tanto as amostras retrospetivas como prospetivas do SOS Médecins Grand Paris do OP.

6.2. Descrição das análises estatísticas utilizadas O estudo será conduzido de acordo com as recomendações TRIPOD-AI, que são as diretrizes para relatar estudos prognósticos e de diagnóstico (especificamente para IA)

6.2.1. Seleção dos indivíduos a incluir nas análises Para todos os objetivos, a seleção dos indivíduos a incluir será feita por sorteio aleatório com base num número redondo de anos. Isto cobrirá todas as horas do dia, dias da semana e meses do ano. Para o OS3, a amostra não representativa conterá 50% de doentes encaminhados para o hospital.

6.2.2. Estatísticas descritivas Serão realizadas análises descritivas para todas as variáveis recolhidas. As variáveis quantitativas serão descritas utilizando a sua média, mediana, desvio padrão, intervalo de confiança de 95%, intervalo interquartil, mínimo, máximo, número de valores em falta e número de valores inutilizáveis. As variáveis quantitativas serão descritas pelas suas percentagens e intervalo de confiança de 95%. O tempo decorrido entre a chamada e o final da visita será apresentado. Estas análises serão realizadas em todas as amostras e estratificadas de acordo com a utilização hospitalar.

6.2.3. Análise do endpoint primário Começamos por apresentar a estratégia de análise genérica que será utilizada para vários fins.

Para avaliar o desempenho dos diferentes sistemas de triagem (IA e perito médico) em diferentes amostras (prospetivas ou retrospetivas, em Paris ou Ajaccio, Córsega) de doentes, serão traçadas curvas ROC e de precisão-recall (PR) e estimadas as áreas sob estas curvas (AROC e APR). A AROC permite-nos medir o desempenho global de um sistema de classificação. A APR também será utilizada porque é particularmente informativa ao avaliar classificadores binários em conjuntos de dados desequilibrados, nos quais o número de resultados negativos supera em muito o número de resultados positivos (o que corresponde à nossa situação). Para comparar dois sistemas de triagem (IA e perito médico, por exemplo) ou o mesmo sistema de triagem (IA, por exemplo) em duas populações diferentes (Paris e Ajaccio, Córsega, por exemplo), as suas AROCs serão comparadas.

Além disso, para avaliar o desempenho de uma forma significativa do ponto de vista operacional, a sensibilidade (Sen), especificidade (Spe), valores preditivos positivos (PPV) e valores preditivos negativos (NPV) serão calculados para diferentes limiares.

- OP (validade prospetiva): A estratégia de análise genérica para o modelo de triagem de IA será conduzida em duas amostras representativas, uma retrospetiva (2023 e anos anteriores) e uma prospetiva (2024) do SOS Médecin Grand Paris.

6.2.4. Análise dos endpoints secundários

- OS1 (validade externa): A estratégia de análise genérica relativa ao modelo de triagem de IA será conduzida em duas amostras retrospetivas representativas do SOS Médecin Grand Paris e Ajaccio, Córsega.

- OS2 (médicos peritos): As taxas de previsão correta dos dois sistemas de triagem (IA e médicos peritos) serão comparadas utilizando um teste estatístico.

De forma mais exploratória:

- As AROCs dos dois sistemas de triagem serão calculadas (estratégia de análise genérica).

- As diferenças de previsão entre os dois sistemas de triagem serão modeladas com base na utilização hospitalar real e nas características dos doentes.

- Serão calculados coeficientes kappa ponderados entre as duas previsões.

- serão realizadas análises de sensibilidade com base no nível de certeza relatado pelos peritos médicos (particularmente níveis altos e baixos de certeza);

• serão realizadas análises estratificadas da utilização hospitalar real (estudo de verdadeiros positivos e verdadeiros negativos).

Sempre que possível, as análises terão em conta o facto de o mesmo perito médico poder ter examinado várias chamadas/doentes.

• OS3 (discriminação):

A discriminação será investigada de acordo com as seguintes características sociais: idade, género e posição social (estimada com base nas características socioeconómicas da área censitária do local da visita). . A idade e as variáveis ecológicas de posição social serão utilizadas na forma de tercis e quintis. Será realizada a estratégia de análise genérica relativa ao modelo de triagem de IA em amostras representativas do SOS Médecin Grand Paris estratificadas de acordo com as características sociais acima mencionadas. A comparação das AROCs determinará se a triagem é igualmente eficaz de acordo com as características sociais acima mencionadas.

Além disso, uma comparação dos sucessos (verdadeiros positivos e verdadeiros negativos em conjunto e separadamente) de acordo com as características acima mencionadas também será realizada utilizando modelos logísticos univariados e depois multivariados. Estas análises serão realizadas para diferentes limiares de risco.

- OS4 (condições reais) Após discussões entre colegas e testes em escala real, serão elaboradas especificações para implementação em condições reais para que o modelo de triagem possa ser implementado em diferentes plataformas de TI. A fundamentação por trás das escolhas feitas será especificada nestas especificações.