OpenEvidence Safety and Comparative Efficacité de quatre LLM dans la pratique clinique

OpenEvidence est un outil en ligne construit à partir de la plate-forme de la clinique de mai accélérer [OpenEvidence] qui regroupe et synthétise les données des études médicales évaluées par des pairs, puis produisant une réponse aux questions d'un utilisateur utilisant une IA générative. Bien qu'il soit utilisé par un certain nombre de cliniciens (y compris les résidents), il y a peu ou pas de données publiées sur la question de savoir si les résultats de l'outil sont exacts et si ces informations éclairent de manière appropriée la prise de décision clinique. De même, un certain nombre de cliniciens se tournent vers d'autres modèles de langues importants (LLM) pour aider à la prise de décision lors de la prestation de soins cliniques.

OpenEvidence est un outil en ligne conçu pour agréger et synthétiser les données des études cliniques évaluées par des pairs, générant par la suite des réponses aux demandes des utilisateurs par l'application de l'IA générative. Bien que de plus en plus utilisé par les cliniciens chevronnés et les stagiaires, il y a une absence notable de données publiées concernant l'exactitude des résultats de l'outil, leur sécurité et leur efficacité pour information appropriée de la prise de décision clinique. Parallèlement, un nombre croissant de cliniciens exploitent d'autres modèles de langage grand public (LLM) pour soutenir la prise de décision en matière de soins cliniques. Bien qu'un certain nombre d'études aient examiné la précision des réponses de la LLM aux questions du conseil médical ou des vignettes cliniques, il existe des recherches limitées sur leurs performances dans des milieux cliniques du monde réel, et même moins d'études proposent des analyses comparatives de cette performance.

Dans une revue de la littérature, un article montre que les LLM peuvent être mieux pour détecter l'anxiété que les praticiens, mais cela était basé sur des vignettes cliniques. [Levkovich et al.] Un autre a examiné la sensibilité diagnostique des LLM en utilisant des mesures de résultats déclarées par le patient dans un questionnaire structuré. [Pagano et al.] Une étude supplémentaire comparant LLM pour l'oncologie utilise également des vignettes fictives. [Benary et al.] Un essai de contrôle randomisé utilisant des vignettes cliniques n'a montré aucune amélioration clinique pour les fournisseurs qui avaient accès aux LLM. [Goh et al.] Une étude de cas a exploré l'intégration de Chatgpt 3.5 dans des tours quotidiens et a évalué son utilisation qualitativement, mais ne l'a pas comparé aux autres outils de référence des autres LLM ou en or. [Skryd et al.] Un autre a comparé les réponses de Chatgpt aux critères de pertinence de l'American College of Radiology pour la douleur mammaire et le dépistage du cancer du sein, mais ne l'a pas encore comparé aux autres LLM. [Rao et al.] Dans notre revue, une seule étude a évalué les LLM dans un cadre clinique réel. Il s'agissait d'une série d'articles qui ont examiné leur utilisation pour une prise de décision complexe dans les soins du cancer du sein, en utilisant un petit nombre de cas réels et un modèle invite standardisé. [GRIEWING, Knitza et al.; GRIEWING, Gremke et al.] Cette étude a révélé que les problèmes de cohérence et de détérioration de la précision (en particulier avec GPT 3.5), amenant les auteurs à conclure que l'utilisation clinique de LLM à cette fin n'était pas encore possible au moment de la publication. Pourtant, les leaders des systèmes de santé voient l'utilisation de ces outils accélérant rapidement dans la pratique clinique. Pour cette raison, les enquêteurs pensent qu'il est impératif d'étudier leur sécurité et la pertinence clinique des décisions que les cliniciens prennent à la suite de leur utilisation.

Cambridge Health Alliance (CHA) est un système public de santé de sécurité académique dans la région de Boston, desservant une population diversifiée de patients. Le CHA a une empreinte de soins primaires robuste et de psychiatrie ambulatoire, et soutient un grand programme de formation médicale diplômée par le biais de la Harvard Medical School et de la Tufts University School of Medicine. Les enquêteurs ont choisi les résidents comme principaux participants à l'étude, car de nombreux stagiaires utilisent déjà OpenEvidence, et les ont trouvés plus incités à participer à l'étude s'ils sont accès à l'outil de CHA (où il est autrement mis sur liste noire à partir des services de réseau et interdit par la politique jusqu'à ce que les résultats de cette étude puissent être déterminés).

Les résultats de l'étude sont les suivants:

Déterminez si l'utilisation d'OpenEvidence conduit à des décisions cliniquement appropriées par les résidents au cours de la pratique clinique dans un cadre de santé communautaire.

Déterminez comment la production d'OpenEvidence se compare à trois autres modèles de langue de grande envergure couramment utilisés et disponibles publiquement (ChatGpt d'Openai, Claude d'Anthropic et Gémeaux de Google) en précision, en exhaustivité et en biais lors de la lutte contre les questions cliniques au cours de la pratique clinique en milieu de santé communautaire.

Méthodes:

La collecte de données devrait avoir lieu sur une période de 6 mois afin de minimiser les mises à niveau de la version des fournisseurs pendant la période d'étude. Les résidents sont regroupés par spécialité en «médecine» (médecine interne / médecine familiale) et «psychiatrie» (psychiatrie adulte / enfant). Afin de simplifier l'appariement aux experts en matière de spécialité appropriés, les résidents de médecine sont invités à utiliser OpenEvidence uniquement pour les cas de soins primaires pour adultes (à l'exclusion des problèmes liés à l'OB / GYN). Les résidents de psychiatrie sont invités à utiliser OpenEvidence uniquement pour les cas de psychiatrie pour adultes.

Avant d'être acceptés en tant que participants, les stagiaires ont tous été invités à accepter ce qui suit:

• Vérifiez toute requête OpenEvidence par rapport à un outil de norme en or, définie dans le protocole d'étude pour inclure PubMed, Uptodate, Dynamed, une directive de la société de spécialité clinique ou une autre source de référence clinique similaire qui doit être documentée sous la forme d'étude.
• Ne saisir aucune information de santé personnelle (PHI) dans OpenEvidence (tel que défini ci-dessous).
• Essayez d'utiliser OpenEvidence au moins 3 fois par semaine, le cas échéant aux soins cliniques du patient.
• Documentez 100% de leurs requêtes OpenEvidence dans le formulaire de recherche de l'étude pour éviter les biais de sélection.

Tous les résidents recevront une brève formation en ingénierie rapide pour les soins de santé avant le début de la collecte de données. Les invites standardisées ne seront pas utilisées, car l'un des sous-objectifs de l'étude est de comprendre quels types de questions que les résidents soumettent à OpenEvidence dans un cadre réel.

Tous les résidents seront informés de la définition de PHI, comme suit:

Les requêtes ne doivent inclure aucun des PHI, tels que définis par les identifiants de la santé Safe [HHS]; Les requêtes peuvent inclure l'âge des patients en années (jours / semaines / mois pour la pédiatrie) et les relations sexuelles légales; Pour les patients âgés de 89 ans ou plus, l'utilisateur doit à la place utiliser le terme "plus de 89 ans" pour se conformer aux normes du port Safe.

Les requêtes ne devraient pas inclure des patients soupçonnés d'avoir des conditions extrêmement rares telles que définies par l'Organisation nationale pour les troubles rares, car ceux-ci sont également enclins à la réidentification [NORD]. Si une condition rare n'est pas initialement suspectée mais devient suspectée par le processus de recherche d'utilisation de l'outil d'IA, l'utilisateur sera invité à arrêter sa requête à ce stade.

La collecte de données impliquera l'utilisation d'un formulaire Google conforme à la HIPAA dans l'espace de travail Google Enterprise de CHA pour l'infrastructure cloud de santé. Le formulaire de collecte de données demandera aux stagiaires de faire ce qui suit:

1. Entrez leur question clinique initiale.
2. Collez leur invite OpenEvidence (numérotée séquentiellement pour les invites itératives) et la ou les sorties (s) OpenDidence (s) complètes.
3. Entrez leur conclusion clinique en fonction de la sortie OpenEvidence.
4. Entrez l'outil de référence standard utilisé.
5. Indiquez leur conclusion clinique finale sur la base des informations d'OpenEvidence et de l'outil de référence des normes en or.
6. Répondez à une question sur la mesure dans laquelle leur conclusion clinique initiale a été modifiée par la référence de l'étalon-or.
7. Répondez à une question ouverte pour savoir s'ils ont remarqué des problèmes de sécurité clinique, des inexactitudes ou des biais dans la sortie d'OpenEvidence.

Les requêtes seront triées par spécialité (médecine vs psychiatrie), et chaque requête recevra un numéro d'étude séquentiel.

Le conseil d'administration des médecins en matière de médecins (PME) certifié en médecine interne, en médecine familiale ou en psychiatrie avec au moins 5 ans d'expérience clinique post-formation a été recruté. Cinq ans d'expérience clinique post-formation ont été choisies en fonction du fait que Malcolm Gladwell, dans son livre, Outliers, affirme que 10 000 heures de pratique ciblée sont nécessaires pour atteindre une expertise dans un domaine.

Les PME seront invitées à évaluer les questions cliniques initiales des résidents et leurs conclusions basées uniquement sur OpenEvidence. On leur demandera d'évaluer la pertinence clinique de ces conclusions sur une échelle de Likert à 10 points. Les PME seront également fournies avec la sortie OpenEvidence pour chaque requête, et lorsque la PME évalue mal la pertinence clinique des conclusions des résidents (<5/10), la PME sera en outre posée en outre une question de suivi pour évaluer si la sortie de l'outil lui-même a fourni une réponse cliniquement inappropriée, afin de déterminer si le stagiaire peut avoir mis en œuvre la sortie de l'outil. La revue des PME comprendra un chevauchement de 2,5 à 5% entre les examinateurs pour calculer un score Kappa pour la fiabilité inter-évaluateurs.

Dans la deuxième partie de l'étude, l'équipe de recherche triera les requêtes OpenEvidence en thèmes et choisira un échantillonnage aléatoire des requêtes de chaque spécialité et thème pour comparaison entre LLM. L'équipe de recherche confirme que les invites n'incluent aucun PHI selon le protocole d'étude. Ils copieront ensuite les invites OpenEvidence entrées par les résidents pour les requêtes sélectionnées et les colleront exactement dans Chatgpt, Gemini et Claude.

Les sorties de chacun des quatre outils (OpenEvidence, Chatgpt, Gemini et Claude) seront surface dans une forme Web Google. Les PME seront invitées à évaluer chaque sortie sur une échelle de Likert pour la précision, l'exhaustivité et les biais, ainsi que de répondre à une question qualitative identifiant tout problème de sécurité des patients dans la sortie.

Résultats:

Les résultats des résultats principaux seront rapportés comme suit:

Propriété clinique de la décision prise par les résidents utilisant OpenEvidence (moyenne avec SD, médiane), par spécialité

• Si, dans les cas de faible pertinence clinique, les PME ont identifié que cela n'était pas due à la sortie de l'outil, mais plutôt en raison de l'interprétation du résident de l'outil, les mesures seront également fournies avec ces cas exclus
• Fiabilité inter-évaluateurs (valeur kappa)

Les résultats des résultats secondaires seront rapportés comme suit:

Pour chaque spécialité et chaque variable (précision, exhaustivité et biais), les enquêteurs rapporteront:

• Le taux de "victoire" pour chaque LLM et la marge moyenne du score de la deuxième place.
• La taille de l'effet (en utilisant chaque LLM comme référence distincte) à l'aide du test D de Cohen.
• Fiabilité inter-évaluateurs (valeur kappa)