Triaje con Inteligencia Artificial de Pacientes que Requieren Atención de Emergencia o no Programada y Necesitan ser Derivados al Hospital (TRIAGE)

Introducción - justificación científica 1.1. Contexto A medida que la población envejece y la prevalencia de enfermedades crónicas aumenta, el número de médicos generalistas está disminuyendo. Este desequilibrio creciente entre las necesidades médicas y la oferta está provocando dificultades en el acceso a la atención primaria, especialmente a la atención urgente y no programada.

Para abordar este problema, Francia ha establecido un servicio de acceso a la atención sanitaria (SAS). En caso de necesidades de atención urgente o no programada, el SAS permite a las personas cuyo médico de atención primaria no esté disponible acceder a un profesional sanitario. Dependiendo de la situación, el servicio puede proporcionar asesoramiento médico, ofrecer una teleconsulta, derivar a la persona a un médico local o al servicio de urgencias, o incluso llamar a una unidad móvil de emergencia y reanimación (SMUR) o ambulancia. El SAS funciona como un sistema de triaje, proporcionando una respuesta adaptada a las necesidades de cada individuo.

El objetivo de este proyecto es estudiar ciertos aspectos de la validez de un modelo de triaje basado en inteligencia artificial (IA) para pacientes que buscan atención urgente o no programada, permitiendo la identificación de pacientes que requerirán tratamiento hospitalario.

Este proyecto continúa un estudio anterior que desarrolló un modelo utilizando IA para triar pacientes utilizando SOS Médecins Grand Paris. Al igual que en el SAS, las personas que llaman a SOS Médecins presentan su problema a un asistente de despacho médico (ADM), quien en la mayoría de los casos organiza una visita domiciliaria.

Las bases de datos de SOS Médecins contienen grabaciones de audio de las solicitudes de atención y las decisiones médicas tomadas por los médicos después de sus visitas domiciliarias, incluido si el paciente fue derivado al hospital o no (los datos sobre los resultados de los pacientes son exhaustivos). Por lo tanto, se desarrolló un modelo predictivo del uso de servicios hospitalarios por parte de los pacientes tras una visita domiciliaria de un médico de SOS utilizando IA. El modelo "escucha" los intercambios entre el paciente y el ADM y predice el uso de servicios hospitalarios después de la visita domiciliaria del médico.

El modelo y su desarrollo son objeto de un artículo actualmente enviado para publicación en una revista internacional. Durante la fase de prueba, logró un área bajo la curva ROC (característica operativa del receptor) de 0.80. En última instancia, el modelo basado en IA deberá operar en tiempo real y proporcionar información a los ADM para ayudarles en su trabajo. Por el momento, el objetivo de este proyecto es completar la validación del sistema. Luego deberá implementarse y probarse en condiciones reales para determinar los beneficios del triaje de pacientes por parte de los ADM utilizando las predicciones del modelo.

Cabe señalar que, aunque SOS Médecins no es lo mismo que el SAS, es similar. Primero, las dos estructuras operan de manera similar: un ADM contactado por teléfono intenta responder a una solicitud de atención urgente o no programada. El rango de posibles respuestas es el mismo para ambas estructuras (SOS no solo ofrece visitas domiciliarias, también realiza consultas presenciales o por video y transfiere ciertas llamadas al servicio médico de emergencia), al igual que el uso de la experiencia de un médico si es necesario (regulación médica). En segundo lugar, SOS Médecins es uno de los efectores posteriores del SAS. Más antiguo y mejor conocido por el público general y los profesionales sanitarios que el SAS (que actualmente cubre solo el 60% del territorio nacional), SOS podría tener un proceso de reclutamiento muy similar al de este nuevo servicio. Hasta donde sabemos, aún no hay estadísticas sobre el SAS que permitan una comparación de las actividades de las dos estructuras. En este contexto, la validación dentro del SAS del modelo desarrollado con datos de SOS será, por lo tanto, necesaria. Si, en el futuro, los datos muestran que las dos estructuras son similares, el SAS podría beneficiarse de este proyecto desarrollado en SOS. Los datos de SOS tienen una ventaja significativa sobre los datos del SAS: contienen información sobre los resultados de los pacientes, incluido si fueron o no al servicio de urgencias del hospital. Este etiquetado de llamadas permitió el aprendizaje supervisado de un modelo de IA.

Este proyecto, que hasta donde sabemos es único, allana el camino para una asistencia de triaje que puede utilizarse en el SAS (y quizás hasta cierto punto en los servicios de urgencias).

1.2. Beneficios para los pacientes y el sistema sanitario La identificación temprana de pacientes con alto riesgo de hospitalización, algunos de los cuales tienen afecciones que requieren atención de emergencia en un entorno especializado, debería facilitar la toma de decisiones clínicas y, en última instancia, mejorar la salud del paciente. Esto se refiere principalmente a pacientes con afecciones cuyo pronóstico está directamente relacionado con la rapidez de la atención, como afecciones isquémicas graves, respiratorias, traumáticas o infecciosas, que se beneficiarán de ser hospitalizados sin esperar a que un médico los visite en casa. El beneficio para los pacientes será, por lo tanto, una reducción en las oportunidades perdidas debido a errores de triaje.

Además, el triaje aguas arriba de los servicios de urgencias (como propuso el anterior Ministro de Salud y se implementó en algunos servicios de urgencias con escaso personal y es una práctica habitual en Dinamarca) mejorará el funcionamiento de los servicios de urgencias hospitalarios, donde el exceso de actividad tiene un impacto en la mortalidad de los pacientes mayores que reciben atención. En términos de salud pública, la introducción de un sistema de triaje efectivo podría, por lo tanto, mejorar el acceso a la atención urgente y no programada.

Objetivos de investigación y criterios de evaluación El modelo de triaje basado en IA utilizado para identificar a los pacientes que necesitan ser derivados al hospital ya ha sido desarrollado y probado utilizando llamadas a SOS Médecins Grand Paris. Actualmente se está publicando un artículo. Por lo tanto, este proyecto no se centra en el desarrollo o la validación interna del modelo de triaje, sino en otros aspectos relacionados con su validación: validación prospectiva y externa; comparación de sus predicciones con las de un experto médico; investigación de la discriminación social que podría estar asociada con su uso; y la determinación de las condiciones reales de su uso en entornos sanitarios.

2.1. Objetivo y criterio de valoración principal La evaluación prospectiva del rendimiento de los modelos predictivos en datos operativos del mundo real es un paso crucial hacia la integración de estos modelos en el contexto clínico y la evaluación de su impacto en la atención del paciente.

- Objetivo principal (OP): Validación prospectiva del modelo de triaje utilizado para identificar a los pacientes que serán derivados al hospital después de una visita domiciliaria de un médico.

El área bajo la curva ROC (AROC) proporciona una medida general del rendimiento de un sistema de clasificación.

Cabe señalar que todos los datos utilizados en este estudio son retrospectivos. El modelo fue diseñado utilizando datos de 2023 y anteriores (hasta 2017 inclusive), y los datos "prospectivos" son los posteriores a su diseño y serán los datos de 2024.

- Criterio de valoración principal (CVP): Comparación de los AROCs obtenidos de muestras representativas de datos retrospectivos y prospectivos de SOS Médecins Paris.

2.2. Objetivos y criterios de valoración secundarios La validación externa en datos de pacientes de sitios geográficos separados es necesaria para comprender cómo los modelos desarrollados en un sitio pueden implementarse de manera segura y efectiva en otros sitios.

- Objetivo Secundario #1 (OS1): Validación externa del modelo de triaje

• Criterio de Valoración Secundario #1 (CVS1): Comparación de los AROCs obtenidos de muestras representativas de datos retrospectivos de SOS Médecins Grand Paris y Ajaccio.
• CVS2: Comparación de las predicciones del modelo de triaje con las de un médico experto.
• Criterio de Valoración Secundario #2 (CVS2): Comparación de las tasas de predicción correcta entre el modelo de triaje y un médico experto en una muestra equilibrada no representativa (es decir, que comprende el 50% de los pacientes derivados al hospital después de una visita domiciliaria del médico, en lugar del 3% como ocurre en la realidad) de datos de SOS Médecins Grand Paris.

Se ha encontrado que varios sistemas de triaje basados en IA son discriminatorios. Dos ejemplos bien conocidos ilustran este punto:

• la selección de ingenieros informáticos que solicitan empleo basándose en sus currículums: el sistema había sido entrenado utilizando ingenieros existentes, que eran predominantemente hombres, y perjudicaba a las mujeres;
• La detección de melanomas a partir de imágenes de dermatoscopio: el sistema había sido entrenado utilizando tonos de piel claros y no era tan efectivo en tonos de piel oscuros.
• OS3: Estudio de los fenómenos de discriminación potencial asociados con el modelo, en relación con las características sociales de los pacientes.
• Criterio de valoración secundario #3 (CVS3): Comparación de los AROCs obtenidos de muestras representativas de datos de SOS Médecins Grand Paris para ambos sexos.

La transición de un modelo predictivo validado a un dispositivo eficiente en condiciones reales es un desafío bien conocido en IA.

- OS4: Determinación de las condiciones reales de uso del modelo por parte de los ADM.

- Criterio de valoración secundario #4 (CVS4): Redacción de especificaciones para la implementación del sistema de triaje por parte de los ADM

Selección y exclusión de individuos del estudio 3.1. Criterios de inclusión Individuos de cualquier edad que recibieron una visita domiciliaria de un médico de SOS después de una llamada en 2024 o antes.

3.2. Criterios de exclusión Individuos que no hablan francés. Individuos sin seguro de salud.

Descripción del estudio 4.1. Tipo de estudio Se trata esencialmente de un estudio para validar un modelo de triaje de pacientes basado en IA. Se llevará a cabo utilizando datos observacionales.

4.2. Proceso de investigación 4.2.1. Ubicación de la investigación El estudio se llevará a cabo en las instalaciones de SOS Médecins. Se reclutarán expertos médicos de SOS Médecins Grand Paris para llevar a cabo el OS2.

4.2.2. Métodos de reclutamiento Se utilizarán los datos recopilados por SOS Médecins en el curso de sus actividades.

4.2.3. Procedimientos de atención al paciente El proyecto se centra en la necesidad de utilizar hospitales para satisfacer la demanda de atención urgente o no programada de pacientes en la comunidad. Sin embargo, no interferirá con la atención al paciente.

4.2.4. Procedimientos de salida del estudio Los pacientes que soliciten ser excluidos serán excluidos.

4.2.5. Recopilación de datos

• OP (validación prospectiva), OS1 (validación externa) y OS3 (discriminación):

Los datos utilizados serán los ya recopilados en el curso de las actividades de SOS Médecins. Ambos sitios (París y Ajaccio, Córcega) utilizan el mismo software para gestionar las llamadas telefónicas desde el momento en que se reciben y graban hasta el final del proceso de atención de SOS (es decir, el final de la visita domiciliaria en nuestro caso), incluyendo la entrada de datos administrativos y médicos (archivo de SOS Médecins). Aquí está la lista de datos que se utilizarán y cómo se procesarán para el análisis:

- Transcripciones de las grabaciones de audio de las conversaciones entre pacientes y ADM. Las predicciones de IA se harán basándose en estas transcripciones (y solo en estas transcripciones).

• Datos del archivo de SOS Médecins:
• día de la semana, mes, año y hora de la llamada telefónica;
• el número del área censal del lugar de la visita se obtendrá de la dirección proporcionada por el paciente. Las áreas censales son las unidades espaciales más pequeñas para las que hay datos estadísticos disponibles preservando el anonimato de sus habitantes. Varias variables socioeconómicas del censo del INSEE (Instituto Nacional de Estadística y Estudios Económicos) están disponibles a este nivel, como tasas de desempleo, graduados de secundaria, trabajadores, ingreso medio, el índice de desventaja social (también conocido como FDep por French DEPrivation index) y EDI (por Ecological Deprivation Index). Estas diferentes variables proporcionan medidas ecológicas (en oposición a individuales) de la posición social de los individuos que residen allí;
• razones de la llamada, definidas por el ADM, basadas en una lista predefinida pero que no corresponde a una clasificación internacional. Pueden reportarse varias razones para la misma llamada;
• nivel de urgencia (4 niveles), definido por el ADM;
• fecha y hora del final de la visita domiciliaria, definida por el médico al final de la visita
• Diagnósticos de la consulta, definidos por el médico al final de la visita, basados en una lista predefinida pero que no corresponde a una clasificación internacional. Pueden reportarse varias razones para la misma consulta.
• Estado del paciente al final de la visita (lista cerrada: dejado en el lugar, transferido al servicio de urgencias del hospital, llamada de servicios médicos de emergencia).
• método de transferencia al servicio de urgencias del hospital (lista cerrada: por medios propios, ambulancia, bomberos, SMUR).
• OS2 (experto médico):

Se recopilarán algunos datos individuales de los expertos médicos que participan en el logro de este objetivo: edad, género, tiempo de práctica en general y dentro de SOS Médecins, especialidad.

Además, después de leer las transcripciones de los intercambios telefónicos entre pacientes y ADM, se pedirá a estos médicos que estimen la probabilidad de que los pacientes sean transferidos al hospital.

Se les harán dos preguntas:

• ¿Cuál es la probabilidad de que este paciente sea hospitalizado después de la visita del médico de SOS? Responda colocando una cruz en la escala de 0 (sin hospitalización) a 100 (hospitalización).
• ¿Qué tan seguro está acerca de esta probabilidad? Responda colocando una cruz en la escala de 0 (ninguna certeza) a 100 (certeza total)

Descripción de las intervenciones del estudio No hay intervenciones en este estudio, que es estrictamente observacional.

No obstante, describimos aquí la organización del trabajo que se llevará a cabo para completar OS2 y OS4.

• OS2 (experto médico):

Para comparar las predicciones del modelo de triaje sobre el uso hospitalario con las de un experto médico, se reclutarán de forma voluntaria médicos de SOS Médecins Grand Paris con más de cinco años de experiencia en la organización. A cada uno de estos médicos se le pedirá que estime la probabilidad de uso hospitalario para varios pacientes/llamadas (ver §4.2.5. Recopilación de datos).

- OS4 (condiciones reales): Se formará un grupo de trabajo compuesto por estadísticos, ingenieros informáticos, ADM, médicos de SOS e investigadores en ergonomía para considerar la mejor manera de proporcionar a los ADM la probabilidad de uso hospitalario. Varios temas deberán abordarse: cómo se muestra la probabilidad en la pantalla, el umbral de probabilidad, si la llamada debe transferirse al médico de despacho (y, de ser así, en qué umbral), la influencia de la probabilidad en el nivel de urgencia de la llamada definido por el ADM, y la posibilidad de dar prioridad a ciertas solicitudes urgentes. Después de una primera reunión de trabajo, se implementará una versión con ADM voluntarios. Después del uso inicial en condiciones reales, se recopilarán comentarios y se realizará un nuevo experimento. Finalmente, se redactarán especificaciones para la implementación en condiciones reales (con las razones dadas para las elecciones realizadas) para que el modelo de triaje pueda implementarse en diferentes plataformas informáticas.

Análisis estadísticos 6.1. Cálculo del número de sujetos - OP (validación prospectiva): Para demostrar que el AROC en datos prospectivos es diferente del ROC en datos retrospectivos, si se observan AROCs de 0.75 y 0.80 respectivamente, necesitaremos 13,560 pacientes/llamadas por muestra (es decir, 407 pacientes que serán derivados al hospital y 13,153 pacientes que no, en línea con el 3% de pacientes derivados al hospital observado en SOS Médecins Grand Paris), asumiendo un riesgo alfa del 5%, una potencia del 90% y una prueba de dos colas. Este resultado se obtuvo utilizando la función power tworoc del software estadístico Stata.

- OS1 (validación externa): Según el mismo cálculo que para el OP, se necesitará movilizar una muestra de 13,560 pacientes en Ajaccio, Córcega.

- OS2 (médicos expertos): Mientras que todos los demás análisis se basarán en muestras representativas, este análisis se basará en una muestra equilibrada (es decir, compuesta por un 50% de pacientes que serán derivados al hospital y un 50% que no) por dos razones. Con una baja tasa de derivaciones hospitalarias (3%) y un bajo número de llamadas a evaluar para cada uno de los médicos expertos, una posible estrategia para un médico que quiera asegurar un buen rendimiento sería nunca derivar pacientes al hospital. Además, una muestra representativa no permitiría estudiar los falsos negativos (pacientes con una probabilidad estimada baja de ser derivados al hospital cuando en realidad lo serán) ya que habría muy pocos.

Para resaltar una diferencia en la tasa de predicción correcta entre el modelo de triaje y un médico experto, se requerirían 365 llamadas de pacientes que usan el hospital (y el mismo número de pacientes que no lo usan), asumiendo una tasa de predicción correcta del 58% (ver apéndices §12.2 para la determinación de esta tasa) y del 68% (elección a priori de 10 puntos porcentuales adicionales) para el modelo de triaje y el médico experto respectivamente, con un riesgo alfa del 5%, una potencia del 80% y una prueba de dos colas (función power twoproportions de Stata).

Basado en una evaluación de una llamada cada 5 minutos, se requerirán un total de 61 horas de tiempo de experto médico. Basado en 4 horas de trabajo por médico, esto corresponde a 16 expertos médicos a reclutar.

- OS3 (discriminación): Según el mismo cálculo que para el OP, se necesitará movilizar una muestra de 13,560 pacientes de cada género si queremos mostrar una diferencia en el AROC del modelo de triaje entre hombres y mujeres. La proporción de sexos de las personas que llaman a SOS Médecins Grand Paris es cercana a 1. Se utilizarán tanto las muestras retrospectivas como prospectivas de SOS Médecins Grand Paris del OP.

6.2. Descripción de los análisis estadísticos utilizados El estudio se llevará a cabo de acuerdo con las recomendaciones TRIPOD-AI, que son las pautas para reportar estudios pronósticos y de diagnóstico (específicamente para IA)

6.2.1. Selección de individuos a incluir en los análisis Para todos los objetivos, la selección de individuos a incluir se hará por sorteo aleatorio basado en un número redondo de años. Esto cubrirá todas las horas del día, días de la semana y meses del año. Para OS3, la muestra no representativa contendrá un 50% de pacientes derivados al hospital.

6.2.2. Estadísticas descriptivas Se realizarán análisis descriptivos para todas las variables recopiladas. Las variables cuantitativas se describirán utilizando su media, mediana, desviación estándar, intervalo de confianza del 95%, rango intercuartílico, mínimo, máximo, número de valores faltantes y número de valores inutilizables. Las variables cuantitativas se describirán por sus porcentajes e intervalo de confianza del 95%. Se presentará el tiempo transcurrido entre la llamada y el final de la visita. Estos análisis se realizarán en todas las muestras y estratificados según el uso hospitalario.

6.2.3. Análisis del criterio de valoración principal Comenzamos presentando la estrategia de análisis genérica que se utilizará para varios propósitos.

Para evaluar el rendimiento de los diferentes sistemas de triaje (IA y médico experto) en diferentes muestras (prospectivas o retrospectivas, en París o Ajaccio, Córcega) de pacientes, se trazarán curvas ROC y de precisión-recall (PR) y se estimarán las áreas bajo estas curvas (AROC y APR). El AROC nos permite medir el rendimiento general de un sistema de clasificación. También se utilizará APR porque es particularmente informativo al evaluar clasificadores binarios en conjuntos de datos desequilibrados, en los que el número de resultados negativos supera con creces el número de resultados positivos (lo que corresponde a nuestra situación). Para comparar dos sistemas de triaje (IA y médico experto, por ejemplo) o el mismo sistema de triaje (IA, por ejemplo) en dos poblaciones diferentes (París y Ajaccio, Córcega, por ejemplo), se compararán sus AROC.

Además, para evaluar el rendimiento de una manera significativa desde una perspectiva operativa, se calcularán la sensibilidad (Sen), especificidad (Spe), valores predictivos positivos (VPP) y valores predictivos negativos (VPN) para diferentes umbrales.

- OP (validez prospectiva): La estrategia de análisis genérica para el modelo de triaje de IA se llevará a cabo en dos muestras representativas, una retrospectiva (2023 y años anteriores) y una prospectiva (años 2024) de SOS Médecin Grand Paris.

6.2.4. Análisis de los criterios de valoración secundarios

- OS1 (validez externa): La estrategia de análisis genérica relacionada con el modelo de triaje de IA se llevará a cabo en dos muestras retrospectivas representativas de SOS Médecin Grand Paris y Ajaccio, Córcega.

- OS2 (médicos expertos): Las tasas de predicción correcta de los dos sistemas de triaje (IA y médicos expertos) se compararán utilizando una prueba estadística.

De manera más exploratoria:

- Se calcularán los AROCs de los dos sistemas de triaje (estrategia de análisis genérica).

- Se modelarán las diferencias de predicción entre los dos sistemas de triaje basándose en el uso hospitalario real y las características del paciente.

- Se calcularán coeficientes kappa ponderados entre las dos predicciones.

- se realizarán análisis de sensibilidad basados en el nivel de certeza reportado por los expertos médicos (particularmente niveles altos y bajos de certeza);

• se realizarán análisis estratificados del uso hospitalario real (estudio de verdaderos positivos y verdaderos negativos).

Cuando sea posible, los análisis tendrán en cuenta el hecho de que el mismo experto médico puede haber examinado varias llamadas/pacientes.

• OS3 (discriminación):

La discriminación se investigará según las siguientes características sociales: edad, género y posición social (estimada basándose en las características socioeconómicas del área censal del lugar de la visita). . La edad y las variables ecológicas de posición social se utilizarán en forma de terciles y quintiles. Se llevará a cabo la estrategia de análisis genérica relacionada con el modelo de triaje de IA en muestras representativas de SOS Médecin Grand Paris estratificadas según las características sociales anteriores. La comparación de AROCs determinará si el triaje es igualmente efectivo según las características sociales anteriores.

Además, también se llevará a cabo una comparación de aciertos (verdaderos positivos y verdaderos negativos conjunta y separadamente) según las características anteriores utilizando modelos logísticos univariados y luego multivariados. Estos análisis se realizarán para diferentes umbrales de riesgo.

- OS4 (condiciones reales) Después de discusiones entre colegas y pruebas a escala real, se redactarán especificaciones para la implementación en condiciones reales para que el modelo de triaje pueda implementarse en diferentes plataformas informáticas. La lógica detrás de las elecciones realizadas se especificará en estas especificaciones.