L'intelligence artificielle comme outil de prise de décision en neurologie

Évaluation Avec IA

Un scénario dans lequel le médecin reçoit des recommandations en temps réel uniquement du modèle avant de prendre la décision finale (la décision finale sera appelée sur la base du médecin senior présent, et du médecin traitant)

Évaluation Sans IA

Un scénario dans lequel le médecin n'est pas exposé aux recommandations du modèle.

Durée du séjour aux urgences

Temps écoulé entre l'inscription aux urgences et la sortie du service des urgences ou l'admission dans un service hospitalier, en se concentrant également sur le temps de cycle de consultation.

Coût de l'exécution du LLM

Coût quotidien moyen (en USD) pour faire fonctionner le modèle grand langage.

Description:

Ce résultat mesurera les coûts directs de calcul et de licence encourus en exécutant le LLM en milieu clinique.

Unité de mesure: dollars américains (par jour). Comment il est évalué: les dépenses quotidiennes totales pour la LLM (par exemple, les frais de comparer le cloud, les frais de licence) seront enregistrés et divisés par le nombre total de rencontres avec les patients ce jour-là pour dériver un coût moyen.

Conformité du personnel avec l'IA

Ce résultat évaluera la fréquence à laquelle les médecins, les résidents et les infirmières de conformité) et comment les médecins (acceptation), les résidents et les infirmières utilisent le LLM dans des scénarios cliniques éligibles.

Description: Détermine la fréquence à laquelle les médecins, les résidents et les infirmières utilisent le LLM pour les rencontres avec les patients éligibles.

Unité de mesure: proportion (0,0-1,0) ou pour cent (0-100%) Comment évalué: suit le nombre de rencontres dans lesquelles le LLM est réellement utilisé, divisé par le nombre total de rencontres éligibles. Des pourcentages plus élevés indiquent une plus grande conformité.

Transparence / explicabilité

Description: Évalue comment le raisonnement du LLM est clairement communiqué au personnel clinique.

Unité de mesure: Score sur une échelle de Likert à 5 points (1 = pas du tout claire, 5 = extrêmement clair) comment évalué: Après chaque décision guidée par LLM, le résident ou le médecin traitant évalue la clarté de l'explication du modèle. Un score moyen est signalé. Des scores plus élevés indiquent une meilleure clarté.

Qualité des rapports cliniques générés par LLM

Précision et score d'exhaustivité du rapport clinique généré par la LLM Ce résultat évalue à quel point la LLM résume avec précision et de manière globale le LLM résume la rencontre clinique d'un patient et le plan recommandé dans un rapport structuré (par exemple, les instructions de sortie, les notes de progression).

Unité (s) de mesure: score de qualité basé sur un savon modifié (subjectif, objectif, évaluation, plan) Échelle de notation des notes, allant de 0 à 10, où des scores plus élevés indiquent une meilleure qualité de documentation. Le score reflète l'inclusion des éléments requis et l'exactitude des détails cliniques.

Méthode d'évaluation: Chaque rapport généré par la LLM est évalué indépendamment par un panel de médecins participants ou de personnel clinique formé. À l'aide d'une liste de contrôle standardisée, les examinateurs évaluent l'exhaustivité (par exemple, l'inclusion des symptômes, les résultats physiques, le diagnostic et le plan) et la précision (par exemple, les médicaments, les identifiants et les diagnostics corrects), puis attribuent un score basé sur la rubrique prédéfinie.

Acceptation du personnel de l'IA

Description: Évalue comment le personnel intégrant volontiers le LLM dans son flux de travail clinique.

Unité de mesure: échelle de Likert à 5 points (1 = fortement en désaccord, 5 = fortement d'accord) comment évalué: après chaque rencontre assistée par LLM, le personnel réalise une brève enquête sur la protection perçue et la volonté de réutiliser le LLM. Des scores plus élevés indiquent une plus grande acceptation.

L'étude est organisée autour de quatre objectifs pré-spécifiés :

Objectif 1 : Pertinence du diagnostic et des recommandations de traitement par LLM Pertinence des recommandations du LLM évaluée par des cliniciens seniors (1=inapproprié, 5=approprié) Délai : De l'inscription aux urgences jusqu'à la sortie ou l'admission en hospitalisation, jusqu'à 24h Objectif 2 : Taux de précision diagnostique - Soins assistés par LLM vs. soins standards Proportion de diagnostics corrects dans les soins assistés par LLM vs. les soins standards (%), correspondant au diagnostic de sortie Délai : De l'inscription aux urgences jusqu'au diagnostic final, jusqu'à 24h Objectif 3 : Utilité et facilité d'utilisation des sorties du LLM évaluées par les cliniciens - Échelle SUS et Likert Utilité mesurée via SUS (0-100) et évaluation Likert à 5 points, recueillie après chaque rencontre avec des retours qualitatifs Délai : Fin de chaque rencontre clinique, jusqu'à 36 mois Objectif 4 : Référence rétrospective du LLM - Pourcentage d'accord et Kappa de Cohen vs. résultats cliniques réels Accord entre les recommandations du LLM et les résultats réels (diagnostic, orientation, durée de séjour) dans les dossiers anonymisés Délai : Dossiers jusqu'à 36 mois avant le début de l'étude

Additional Pre-Specified Outcome Measures for Both Emergency Departments Due to Expansion to Pediatrics:

Aim 1: Change in Specialist Consultations per ED Visit Internal specialist consults per daily case volume (trauma excluded) vs. 5-year mean; decrease = better decision-making and resource use.

Timeframe: Per ED visit (≤24h); monthly, 36 months Aim 2: Change in Ancillary Tests (Imaging & Laboratory) per ED Visit Imaging (X-ray, US, CT) and lab tests per daily case volume vs. 5-year mean; decrease = better decisions, less radiation.

Timeframe: Per ED visit (≤24h); monthly, 36 months Aim 3: Discharge Letter Quality Score (LLM-as-a-Judge) Automated quality score per discharge letter: Safety, Compliance, Patient Communication (1-10; higher=better); 20% manually validated vs. 200-letter baseline. Target: ≥15% improvement.

Timeframe: At closure of each discharge letter, up to 36 months Aim 4: Return Visits to ED Unplanned return within 7 days vs. prior periods; goal: rate maintenance (non-inferiority), confirming safety.

Timeframe: 7 days from discharge; monthly, 36 months