Triage par Intelligence Artificielle des Patients Nécessitant des Soins d'Urgence ou Non Programmés Devant Être Référés à l'Hôpital (TRIAGE)

Introduction - justification scientifique 1.1. Contexte Alors que la population vieillit et que la prévalence des maladies chroniques augmente, le nombre de médecins généralistes diminue. Ce déséquilibre croissant entre les besoins médicaux et l'offre entraîne des difficultés d'accès aux soins primaires, en particulier aux soins urgents et non programmés.

Pour répondre à cette problématique, la France a mis en place un service d'accès aux soins (SAS). En cas de besoin de soins urgents ou non programmés, le SAS permet aux personnes dont le médecin traitant est indisponible d'accéder à un professionnel de santé. Selon la situation, le service peut fournir un conseil médical, proposer une téléconsultation, orienter la personne vers un médecin de ville ou un service d'urgence, voire déclencher une unité mobile d'urgence et de réanimation (SMUR) ou une ambulance. Le SAS fonctionne comme un système de triage, fournissant une réponse adaptée aux besoins de chaque individu.

L'objectif de ce projet est d'étudier certains aspects de la validité d'un modèle de triage par intelligence artificielle (IA) pour les patients recherchant des soins urgents ou non programmés, permettant l'identification des patients qui nécessiteront un traitement hospitalier.

Ce projet fait suite à une étude précédente qui a développé un modèle utilisant l'IA pour trier les patients via SOS Médecins Grand Paris. Comme dans le SAS, les personnes qui appellent SOS Médecins présentent leur problème à un assistant de régulation médicale (ARM), qui dans la plupart des cas organise une visite à domicile.

Les bases de données de SOS Médecins contiennent des enregistrements audio des demandes de soins et des décisions médicales prises par les médecins après leurs visites à domicile, y compris si le patient a été orienté vers l'hôpital ou non (les données sur les devenirs des patients sont exhaustives). Un modèle prédictif de l'utilisation des services hospitaliers par les patients suite à une visite à domicile d'un médecin SOS a donc été développé en utilisant l'IA. Le modèle « écoute » les échanges entre le patient et l'ARM et prédit l'utilisation des services hospitaliers suite à la visite à domicile du médecin.

Le modèle et son développement font l'objet d'un article actuellement soumis pour publication dans une revue internationale. Lors de la phase de test, il a atteint une aire sous la courbe ROC (courbe caractéristique de fonctionnement du récepteur) de 0,80. À terme, le modèle basé sur l'IA devra fonctionner en temps réel et fournir des informations aux ARM pour les aider dans leur travail. Pour l'instant, l'objectif de ce projet est de finaliser la validation du système. Il devra ensuite être déployé et testé en conditions réelles afin de déterminer les bénéfices du triage des patients par les ARM utilisant les prédictions du modèle.

Il est à noter que bien que SOS Médecins ne soit pas identique au SAS, il est similaire. Premièrement, les deux structures fonctionnent de manière similaire : un ARM contacté par téléphone tente de répondre à une demande de soins urgents ou non programmés. L'éventail des réponses possibles est le même pour les deux structures (SOS ne propose pas uniquement des visites à domicile, il réalise également des consultations en présentiel ou en vidéo et transfère certains appels au service d'aide médicale urgente), tout comme le recours à l'expertise d'un médecin si nécessaire (régulation médicale). Deuxièmement, SOS Médecins est l'un des effecteurs en aval du SAS. Plus ancien et mieux connu du grand public et des professionnels de santé que le SAS (qui ne couvre actuellement que 60% du territoire national), SOS pourrait avoir un processus de recrutement très similaire à celui de ce nouveau service. À notre connaissance, il n'existe pas encore de statistiques sur le SAS qui permettraient une comparaison des activités des deux structures. Dans ce contexte, une validation au sein du SAS du modèle développé avec les données SOS sera donc nécessaire. Si, à l'avenir, les données montrent que les deux structures sont similaires, le SAS pourrait bénéficier de ce projet développé chez SOS. Les données SOS présentent un avantage significatif par rapport aux données SAS : elles contiennent des informations sur le devenir des patients, y compris s'ils se sont rendus ou non aux urgences hospitalières. Cet étiquetage des appels a permis un apprentissage supervisé d'un modèle d'IA.

Ce projet, qui à notre connaissance est unique, ouvre la voie à une assistance au triage utilisable dans le SAS (et peut-être dans une certaine mesure dans les services d'urgence).

1.2. Bénéfices pour les patients et le système de santé L'identification précoce des patients à haut risque d'hospitalisation, dont certains présentent des pathologies nécessitant des soins d'urgence dans un cadre spécialisé, devrait faciliter la prise de décision clinique et in fine améliorer la santé des patients. Cela concerne principalement les patients atteints de pathologies dont le pronostic est directement lié à la rapidité de la prise en charge, comme les pathologies ischémiques sévères, respiratoires, traumatiques ou infectieuses, qui bénéficieront d'une hospitalisation sans attendre la visite d'un médecin à domicile. Le bénéfice pour les patients sera donc une réduction des opportunités perdues dues aux erreurs de triage.

De plus, le triage en amont des services d'urgence (comme proposé par le précédent ministre de la Santé et mis en œuvre dans certains services d'urgence sous-dotés et est une pratique courante au Danemark) améliorera le fonctionnement des services d'urgence hospitaliers, où la suractivité a un impact sur la mortalité des patients âgés pris en charge. En termes de santé publique, la mise en place d'un système de triage efficace pourrait donc améliorer l'accès aux soins urgents et non programmés.

Objectifs de la recherche et critères d'évaluation Le modèle de triage basé sur l'IA utilisé pour identifier les patients qui doivent être orientés vers l'hôpital a déjà été développé et testé en utilisant les appels à SOS Médecins Grand Paris. Un article est actuellement en cours de publication. Par conséquent, ce projet ne se concentre pas sur le développement ou la validation interne du modèle de triage, mais sur d'autres aspects liés à sa validation : validation prospective et externe ; comparaison de ses prédictions avec celles d'un expert médical ; investigation des discriminations sociales qui pourraient être associées à son utilisation ; et la détermination des conditions réelles de son utilisation en milieu de soins.

2.1. Objectif et critère de jugement principal L'évaluation prospective de la performance des modèles prédictifs sur des données opérationnelles réelles est une étape cruciale vers l'intégration de ces modèles dans le contexte clinique et l'évaluation de leur impact sur la prise en charge des patients.

- Objectif principal (OP) : Validation prospective du modèle de triage utilisé pour identifier les patients qui seront orientés vers l'hôpital suite à une visite à domicile d'un médecin.

L'aire sous la courbe ROC (AROC) fournit une mesure globale de la performance d'un système de classification.

Il est à noter que toutes les données utilisées dans cette étude sont rétrospectives. Le modèle a été conçu à l'aide de données de 2023 et antérieures (jusqu'à et y compris 2017), et les données « prospectives » sont celles postérieures à sa conception et seront les données de 2024.

- Critère de jugement principal (CJP) : Comparaison des AROCs obtenues à partir d'échantillons représentatifs de données rétrospectives et prospectives de SOS Médecins Paris.

2.2. Objectifs et critères secondaires La validation externe sur des données de patients provenant de sites géographiques distincts est nécessaire pour comprendre comment les modèles développés sur un site peuvent être mis en œuvre de manière sûre et efficace sur d'autres sites.

- Objectif Secondaire n°1 (OS1) : Validation externe du modèle de triage

• Critère de Jugement Secondaire n°1 (CJS1) : Comparaison des AROCs obtenues à partir d'échantillons représentatifs de données rétrospectives de SOS Médecins Grand Paris et Ajaccio.
• CJS2 : Comparaison des prédictions du modèle de triage avec celles d'un médecin expert.
• Critère de Jugement Secondaire n°2 (CJS2) : Comparaison des taux de prédiction correcte entre le modèle de triage et un médecin expert sur un échantillon équilibré non représentatif (c'est-à-dire composé de 50% de patients orientés vers l'hôpital suite à une visite à domicile du médecin, plutôt que 3% comme c'est le cas en réalité) de données de SOS Médecins Grand Paris.

Plusieurs systèmes de triage basés sur l'IA se sont avérés discriminatoires. Deux exemples bien connus illustrent ce point :

• la sélection d'ingénieurs informatiques postulant à des emplois sur la base de leurs CV : le système avait été entraîné en utilisant les ingénieurs existants, majoritairement masculins, et il désavantageait les femmes ;
• La détection des mélanomes à partir d'images de dermoscope : le système avait été entraîné en utilisant des teints de peau clairs et n'était pas aussi efficace sur les teints de peau foncés.
• OS3 : Étude des phénomènes de discrimination potentiels associés au modèle, en lien avec les caractéristiques sociales des patients.
• Critère de jugement secondaire n°3 (CJS3) : Comparaison des AROCs obtenues à partir d'échantillons représentatifs de données de SOS Médecins Grand Paris pour les deux sexes.

La transition d'un modèle prédictif validé vers un dispositif efficace en conditions réelles est un défi bien connu en IA.

- OS4 : Détermination des conditions réelles d'utilisation du modèle par les ARM.

- Critère de jugement secondaire n°4 (CJS4) : Rédaction de spécifications pour la mise en œuvre du système de triage par les ARM

Sélection et exclusion des individus de l'étude 3.1. Critères d'inclusion Individus de tout âge ayant bénéficié d'une visite à domicile d'un médecin SOS suite à un appel en 2024 ou antérieur.

3.2. Critères d'exclusion Individus ne parlant pas français. Individus sans couverture maladie.

Description de l'étude 4.1. Type d'étude Il s'agit essentiellement d'une étude de validation d'un modèle de triage des patients basé sur l'IA. Elle sera menée à l'aide de données observationnelles.

4.2. Processus de recherche 4.2.1. Lieu de la recherche L'étude se déroulera dans les locaux de SOS Médecins. Des experts médicaux de SOS Médecins Grand Paris seront recrutés pour réaliser l'OS2.

4.2.2. Méthodes de recrutement Les données collectées par SOS Médecins dans le cadre de ses activités seront utilisées.

4.2.3. Procédures de prise en charge des patients Le projet se concentre sur la nécessité d'utiliser les hôpitaux pour répondre à la demande de soins urgents ou non programmés des patients en ville. Cependant, il n'interférera pas avec la prise en charge des patients.

4.2.4. Procédures de sortie de l'étude Les patients qui demanderont à être exclus seront exclus.

4.2.5. Collecte des données

• OP (validation prospective), OS1 (validation externe) et OS3 (discrimination) :

Les données utilisées seront celles déjà collectées dans le cadre des activités de SOS Médecins. Les deux sites (Paris et Ajaccio, Corse) utilisent le même logiciel pour gérer les appels téléphoniques depuis leur réception et enregistrement jusqu'à la fin du processus de soins SOS (c'est-à-dire la fin de la visite à domicile dans notre cas), y compris la saisie des données administratives et médicales (dossier SOS Médecins). Voici la liste des données qui seront utilisées et comment elles seront traitées pour l'analyse :

- Transcripts des enregistrements audio des conversations entre patients et ARM. Les prédictions de l'IA seront faites sur la base de ces transcripts (et uniquement ces transcripts).

• Données du dossier SOS Médecins :
• jour de la semaine, mois, année et heure de l'appel téléphonique ;
• le numéro de l'îlot de recensement du lieu de visite sera obtenu à partir de l'adresse fournie par le patient. Les îlots de recensement sont les plus petites unités spatiales pour lesquelles des données statistiques sont disponibles tout en préservant l'anonymat de ses habitants. Plusieurs variables socio-économiques du recensement de l'INSEE (Institut National de la Statistique et des Études Économiques) sont disponibles à ce niveau, comme les taux de chômage, les bacheliers, les ouvriers, le revenu médian, l'indice de désavantage social (également connu sous le nom de FDep pour French DEPrivation index) et l'EDI (pour Ecological Deprivation Index). Ces différentes variables fournissent des mesures écologiques (par opposition à individuelles) de la position sociale des individus qui y résident ;
• motifs de l'appel, définis par l'ARM, basés sur une liste prédéfinie mais ne correspondant pas à une classification internationale. Plusieurs motifs peuvent être rapportés pour le même appel ;
• niveau d'urgence (4 niveaux), défini par l'ARM ;
• date et heure de fin de la visite à domicile, définies par le médecin à la fin de la visite
• Diagnostics de la consultation, définis par le médecin à la fin de la visite, basés sur une liste prédéfinie mais ne correspondant pas à une classification internationale. Plusieurs motifs peuvent être rapportés pour la même consultation.
• Statut du patient à la fin de la visite (liste fermée : laissé sur place, transfert aux urgences hospitalières, appel du service d'aide médicale urgente).
• moyen de transfert vers les urgences hospitalières (liste fermée : par ses propres moyens, ambulance, pompiers, SMUR).
• OS2 (expert médical) :

Certaines données individuelles seront collectées auprès des experts médicaux participant à la réalisation de cet objectif : âge, sexe, ancienneté d'exercice globale et au sein de SOS Médecins, spécialité.

De plus, après lecture des transcripts des échanges téléphoniques entre patients et ARM, ces médecins seront invités à estimer la probabilité d'orientation des patients vers l'hôpital.

Deux questions leur seront posées :

• Quelle est la probabilité que ce patient soit hospitalisé après la visite du médecin SOS ? Répondez en plaçant une croix sur l'échelle de 0 (pas d'hospitalisation) à 100 (hospitalisation).
• À quel point êtes-vous certain de cette probabilité ? Répondez en plaçant une croix sur l'échelle de 0 (aucune certitude) à 100 (certitude totale)

Description des interventions de l'étude Il n'y a pas d'interventions dans cette étude, qui est strictement observationnelle.

Néanmoins, nous décrivons ici l'organisation du travail qui sera réalisé pour finaliser l'OS2 et l'OS4.

• OS2 (expert médical) :

Afin de comparer les prédictions du modèle de triage sur l'utilisation de l'hôpital avec celles d'un expert médical, des médecins de SOS Médecins Grand Paris ayant plus de cinq ans d'expérience dans l'organisation seront recrutés sur la base du volontariat. Chacun de ces médecins sera invité à estimer la probabilité d'utilisation de l'hôpital pour plusieurs patients/appels (voir §4.2.5. Collecte des données).

- OS4 (conditions réelles) : Un groupe de travail composé de statisticiens, d'ingénieurs informatiques, d'ARM, de médecins SOS et de chercheurs en ergonomie sera constitué pour réfléchir à la meilleure façon de fournir aux ARM la probabilité d'utilisation de l'hôpital. Plusieurs problématiques devront être abordées : comment la probabilité est affichée à l'écran, le seuil de probabilité, si l'appel doit être transféré au médecin régulateur (et si oui, à quel seuil), l'influence de la probabilité sur le niveau d'urgence de l'appel tel que défini par l'ARM, et la possibilité de donner la priorité à certaines demandes urgentes. Après une première réunion de travail, une version sera mise en œuvre avec des ARM volontaires. Après une première utilisation en conditions réelles, des retours seront recueillis et une nouvelle expérimentation menée. Enfin, des spécifications pour la mise en œuvre en conditions réelles seront rédigées (avec les justifications des choix effectués) afin que le modèle de triage puisse être implémenté sur différentes plateformes informatiques.

Analyses statistiques 6.1. Calcul du nombre de sujets - OP (validation prospective) : Afin de démontrer que l'AROC sur les données prospectives est différente de la ROC sur les données rétrospectives, si des AROCs de 0,75 et 0,80 sont observées respectivement, nous aurons besoin de 13 560 patients/appels par échantillon (soit 407 patients qui seront orientés vers l'hôpital et 13 153 patients qui ne le seront pas, conformément aux 3% de patients orientés vers l'hôpital observés à SOS Médecins Grand Paris), en supposant un risque alpha de 5%, une puissance de 90% et un test bilatéral. Ce résultat a été obtenu en utilisant la fonction power tworoc du logiciel statistique Stata.

- OS1 (validation externe) : Selon le même calcul que pour l'OP, un échantillon de 13 560 patients devra être mobilisé à Ajaccio, Corse.

- OS2 (médecins experts) : Alors que toutes les autres analyses seront basées sur des échantillons représentatifs, cette analyse sera basée sur un échantillon équilibré (c'est-à-dire composé de 50% de patients qui seront orientés vers l'hôpital et 50% qui ne le seront pas) pour deux raisons. Avec un faible taux d'orientation vers l'hôpital (3%) et un faible nombre d'appels à évaluer pour chacun des médecins experts, une stratégie possible pour un médecin souhaitant assurer de bonnes performances serait de ne jamais orienter les patients vers l'hôpital. De plus, un échantillon représentatif ne permettrait pas d'étudier les faux négatifs (patients avec une probabilité estimée faible d'être orientés vers l'hôpital alors qu'ils le seront en réalité) car il y en aurait trop peu.

Afin de mettre en évidence une différence dans le taux de prédiction correcte entre le modèle de triage et un médecin expert, 365 appels de patients utilisant l'hôpital (et le même nombre de patients ne l'utilisant pas) seraient nécessaires, en supposant un taux de prédiction correcte de 58% (voir annexes §12.2 pour la détermination de ce taux) et 68% (choix a priori de 10 points de pourcentage supplémentaires) pour le modèle de triage et le médecin expert respectivement, avec un risque alpha de 5%, une puissance de 80% et un test bilatéral (fonction power twoproportions de Stata).

Sur la base d'une évaluation d'un appel toutes les 5 minutes, un total de 61 heures de temps d'expert médical sera requis. Sur la base de 4 heures de travail par médecin, cela correspond à 16 médecins experts à recruter.

- OS3 (discrimination) : Selon le même calcul que pour l'OP, un échantillon de 13 560 patients de chaque sexe devra être mobilisé si nous voulons montrer une différence d'AROC du modèle de triage entre hommes et femmes. Le sex-ratio des personnes appelant SOS Médecins Grand Paris est proche de 1. Les échantillons rétrospectifs et prospectifs de SOS Médecins Grand Paris de l'OP seront utilisés.

6.2. Description des analyses statistiques utilisées L'étude sera menée conformément aux recommandations TRIPOD-AI, qui sont les lignes directrices pour la déclaration des études pronostiques et diagnostiques (spécifiquement pour l'IA)

6.2.1. Sélection des individus à inclure dans les analyses Pour tous les objectifs, la sélection des individus à inclure sera faite par tirage au sort basé sur un nombre rond d'années. Cela couvrira toutes les heures de la journée, les jours de la semaine et les mois de l'année. Pour l'OS3, l'échantillon non représentatif contiendra 50% de patients orientés vers l'hôpital.

6.2.2. Statistiques descriptives Des analyses descriptives seront réalisées pour toutes les variables collectées. Les variables quantitatives seront décrites par leur moyenne, médiane, écart-type, intervalle de confiance à 95%, intervalle interquartile, minimum, maximum, nombre de valeurs manquantes et nombre de valeurs inutilisables. Les variables qualitatives seront décrites par leurs pourcentages et intervalle de confiance à 95%. Le temps écoulé entre l'appel et la fin de la visite sera présenté. Ces analyses seront réalisées sur tous les échantillons et stratifiées selon l'utilisation de l'hôpital.

6.2.3. Analyse du critère de jugement principal Nous commençons par présenter la stratégie d'analyse générique qui sera utilisée à diverses fins.

Pour évaluer la performance des différents systèmes de triage (IA et expert médical) sur différents échantillons (prospectifs ou rétrospectifs, à Paris ou Ajaccio, Corse) de patients, des courbes ROC et précision-rappel (PR) seront tracées et les aires sous ces courbes (AROC et APR) estimées. L'AROC permet de mesurer la performance globale d'un système de classification. L'APR sera également utilisée car elle est particulièrement informative lors de l'évaluation de classificateurs binaires sur des ensembles de données déséquilibrés, dans lesquels le nombre de résultats négatifs dépasse largement le nombre de résultats positifs (ce qui correspond à notre situation). Pour comparer deux systèmes de triage (IA et expert médical, par exemple) ou le même système de triage (IA, par exemple) sur deux populations différentes (Paris et Ajaccio, Corse, par exemple), leurs AROCs seront comparées.

De plus, pour évaluer la performance de manière significative d'un point de vue opérationnel, la sensibilité (Sen), la spécificité (Spe), les valeurs prédictives positives (VPP) et les valeurs prédictives négatives (VPN) seront calculées pour différents seuils.

- OP (validité prospective) : La stratégie d'analyse générique pour le modèle de triage IA sera menée sur deux échantillons représentatifs, l'un rétrospectif (2023 et années antérieures) et l'autre prospectif (années 2024) de SOS Médecin Grand Paris.

6.2.4. Analyse des critères de jugement secondaires

- OS1 (validité externe) : La stratégie d'analyse générique relative au modèle de triage IA sera menée sur deux échantillons rétrospectifs représentatifs de SOS Médecin Grand Paris et Ajaccio, Corse.

- OS2 (médecins experts) : Les taux de prédiction correcte des deux systèmes de triage (IA et médecins experts) seront comparés à l'aide d'un test statistique.

De manière plus exploratoire :

- Les AROCs des deux systèmes de triage seront calculées (stratégie d'analyse générique).

- Les différences de prédiction entre les deux systèmes de triage seront modélisées en fonction de l'utilisation réelle de l'hôpital et des caractéristiques des patients.

- Des coefficients kappa pondérés seront calculés entre les deux prédictions.

- des analyses de sensibilité seront réalisées en fonction du niveau de certitude rapporté par les experts médicaux (en particulier les niveaux de certitude élevés et faibles) ;

• des analyses stratifiées de l'utilisation réelle de l'hôpital seront réalisées (étude des vrais positifs et des vrais négatifs).

Dans la mesure du possible, les analyses tiendront compte du fait qu'un même expert médical peut avoir examiné plusieurs appels/patients.

• OS3 (discrimination) :

La discrimination sera étudiée selon les caractéristiques sociales suivantes : âge, sexe et position sociale (estimée sur la base des caractéristiques socio-économiques de l'îlot de recensement du lieu de visite). . L'âge et les variables écologiques de position sociale seront utilisés sous forme de tertiles et de quintiles. La stratégie d'analyse générique relative au modèle de triage IA sur des échantillons représentatifs de SOS Médecin Grand Paris stratifiés selon les caractéristiques sociales ci-dessus sera réalisée. La comparaison des AROCs déterminera si le triage est également efficace selon les caractéristiques sociales ci-dessus.

De plus, une comparaison des succès (vrais positifs et vrais négatifs conjointement et séparément) selon les caractéristiques ci-dessus sera également réalisée à l'aide de modèles logistiques univariés puis multivariés. Ces analyses seront réalisées pour différents seuils de risque.

- OS4 (conditions réelles) Suite aux discussions entre collègues et aux tests à échelle réelle, des spécifications pour la mise en œuvre en conditions réelles seront rédigées afin que le modèle de triage puisse être implémenté sur différentes plateformes informatiques. Les justifications des choix effectués seront précisées dans ces spécifications.