Cette page a été traduite automatiquement et l'exactitude de la traduction n'est pas garantie. Veuillez vous référer au version anglaise pour un texte source.

Évaluation du potentiel des grands modèles linguistiques pour les consultations relatives aux maladies respiratoires (EPLLMMRDC)

24 novembre 2024 mis à jour par: Zining Luo, North Sichuan Medical College

Évaluation du potentiel des grands modèles linguistiques pour les consultations relatives aux maladies respiratoires : un essai croisé randomisé

L'essai clinique vise à évaluer plusieurs grands modèles de langage dans les consultations pour maladies respiratoires en comparant leurs performances à celles de médecins humains dans trois scénarios de consultation médicale majeurs.

Les principales questions auxquelles il s’agit de répondre sont :

  • Comment les grands modèles linguistiques fonctionnent-ils par rapport aux médecins humains dans le diagnostic et la consultation sur les maladies respiratoires dans divers scénarios cliniques ?

Dans trois scénarios cliniques comprenant la section de requête en ligne, la section de diagnostic de maladie et la section d'explication médicale, les assistants de recherche ou les bénévoles seront invités à interroger tous les LLM ou vrais médecins en utilisant des questions en ligne prédéfinies et leurs propres problèmes. Après chaque séance de questions, une courte période de sevrage est mise en place pour éliminer les biais potentiels.

Aperçu de l'étude

Type d'étude

Interventionnel

Inscription (Réel)

703

Phase

  • N'est pas applicable

Contacts et emplacements

Cette section fournit les coordonnées de ceux qui mènent l'étude et des informations sur le lieu où cette étude est menée.

Lieux d'étude

    • Sichuan
      • Nanchong, Sichuan, Chine, 637000
        • The Affiliated Hospital of North Sichuan Medical College

Critères de participation

Les chercheurs recherchent des personnes qui correspondent à une certaine description, appelée critères d'éligibilité. Certains exemples de ces critères sont l'état de santé général d'une personne ou des traitements antérieurs.

Critère d'éligibilité

Âges éligibles pour étudier

  • Enfant
  • Adulte
  • Adulte plus âgé

Accepte les volontaires sains

Non

La description

Critère d'intégration:

  1. Symptômes autodéclarés de maladies respiratoires courantes, telles que toux, oppression thoracique, fièvre et respiration sifflante
  2. Capacité à s'engager dans des opérations de dialogue LLM de manière indépendante ou avec une formation minimale par les pairs
  3. Un état de santé jugé propice à la participation à l'étude par les experts en pneumologie

Critère d'exclusion:

1) État de santé excessivement mauvais

Plan d'étude

Cette section fournit des détails sur le plan d'étude, y compris la façon dont l'étude est conçue et ce que l'étude mesure.

Comment l'étude est-elle conçue ?

Détails de conception

  • Objectif principal: Diagnostique
  • Répartition: Randomisé
  • Modèle interventionnel: Affectation croisée
  • Masquage: Quadruple

Armes et Interventions

Groupe de participants / Bras
Intervention / Traitement
Autre: Groupe de comparaison croisée (la section diagnostic de la maladie)
Groupe de comparaison croisée (y compris les contrôles de médecins humains et tous les LLM)
Cette intervention consiste à répondre aux demandes des patients par différents médecins humains. Chaque patient est assigné au hasard par le système à trois médecins de différentes provinces de Chine sélectionnés dans la base de données des médecins. Les médecins proviennent tous de plusieurs plateformes de consultation en ligne en Chine, et leurs qualifications en matière de diagnostic et leurs licences médicales ont été rigoureusement vérifiées.
Cette intervention consiste à répondre aux demandes des patients par ChatGPT-3.5 avec des capacités de recherche, avant de répondre à des questions, d'effacer l'historique de discussion du patient précédent et de saisir la déclaration d'initialisation prédéterminée.
Cette intervention consiste à répondre aux demandes des patients par ChatGPT-3.5 sans capacités de recherche, avant de répondre à des questions, d'effacer l'historique de discussion du patient précédent et de saisir la déclaration d'initialisation prédéterminée.
Cette intervention consiste à répondre aux demandes des patients par ChatGPT-4.0 avec des capacités de recherche, avant de répondre à des questions, effacez l'historique des discussions du patient précédent et saisissez la déclaration d'initialisation prédéterminée.
Cette intervention consiste à répondre aux demandes des patients par ChatGPT-4.0 sans capacités de recherche, avant de répondre à des questions, effacez l'historique des discussions du patient précédent et saisissez la déclaration d'initialisation prédéterminée.
Cette intervention consiste à répondre instantanément aux demandes des patients par Claude avec des capacités de recherche, avant de répondre à des questions, d'effacer l'historique de discussion du patient précédent et de saisir la déclaration d'initialisation prédéterminée.
Cette intervention consiste à répondre instantanément aux demandes des patients sans capacités de recherche, avant de répondre à des questions, d'effacer l'historique de discussion du patient précédent et de saisir la déclaration d'initialisation prédéterminée.
Cette intervention consiste à répondre aux demandes des patients par Claude 2 avec des capacités de recherche, avant de répondre à des questions, d'effacer l'historique de discussion du patient précédent et de saisir la déclaration d'initialisation prédéterminée.
Cette intervention consiste à répondre aux demandes des patients par Claude 2 sans capacités de recherche, avant de répondre à des questions, à effacer l'historique de discussion du patient précédent et à saisir la déclaration d'initialisation prédéterminée.
Cette intervention consiste à répondre aux demandes des patients par Gemini Pro avec des capacités de recherche, avant de répondre à des questions, d'effacer l'historique des discussions du patient précédent et de saisir la déclaration d'initialisation prédéterminée.
Cette intervention consiste à répondre aux demandes des patients par Gemini Pro sans capacités de recherche, avant de répondre à des questions, d'effacer l'historique des discussions du patient précédent et de saisir la déclaration d'initialisation prédéterminée.
Autre: Groupe de comparaison croisée (la section des explications médicales)
Groupe de comparaison croisée (y compris les contrôles de médecins humains et tous les LLM)
Cette intervention consiste à répondre aux demandes des patients par différents médecins humains. Chaque patient est assigné au hasard par le système à trois médecins de différentes provinces de Chine sélectionnés dans la base de données des médecins. Les médecins proviennent tous de plusieurs plateformes de consultation en ligne en Chine, et leurs qualifications en matière de diagnostic et leurs licences médicales ont été rigoureusement vérifiées.
Cette intervention consiste à répondre aux demandes des patients par ChatGPT-3.5 avec des capacités de recherche, avant de répondre à des questions, d'effacer l'historique de discussion du patient précédent et de saisir la déclaration d'initialisation prédéterminée.
Cette intervention consiste à répondre aux demandes des patients par ChatGPT-3.5 sans capacités de recherche, avant de répondre à des questions, d'effacer l'historique de discussion du patient précédent et de saisir la déclaration d'initialisation prédéterminée.
Cette intervention consiste à répondre aux demandes des patients par ChatGPT-4.0 avec des capacités de recherche, avant de répondre à des questions, effacez l'historique des discussions du patient précédent et saisissez la déclaration d'initialisation prédéterminée.
Cette intervention consiste à répondre aux demandes des patients par ChatGPT-4.0 sans capacités de recherche, avant de répondre à des questions, effacez l'historique des discussions du patient précédent et saisissez la déclaration d'initialisation prédéterminée.
Cette intervention consiste à répondre instantanément aux demandes des patients par Claude avec des capacités de recherche, avant de répondre à des questions, d'effacer l'historique de discussion du patient précédent et de saisir la déclaration d'initialisation prédéterminée.
Cette intervention consiste à répondre instantanément aux demandes des patients sans capacités de recherche, avant de répondre à des questions, d'effacer l'historique de discussion du patient précédent et de saisir la déclaration d'initialisation prédéterminée.
Cette intervention consiste à répondre aux demandes des patients par Claude 2 avec des capacités de recherche, avant de répondre à des questions, d'effacer l'historique de discussion du patient précédent et de saisir la déclaration d'initialisation prédéterminée.
Cette intervention consiste à répondre aux demandes des patients par Claude 2 sans capacités de recherche, avant de répondre à des questions, à effacer l'historique de discussion du patient précédent et à saisir la déclaration d'initialisation prédéterminée.
Cette intervention consiste à répondre aux demandes des patients par Gemini Pro avec des capacités de recherche, avant de répondre à des questions, d'effacer l'historique des discussions du patient précédent et de saisir la déclaration d'initialisation prédéterminée.
Cette intervention consiste à répondre aux demandes des patients par Gemini Pro sans capacités de recherche, avant de répondre à des questions, d'effacer l'historique des discussions du patient précédent et de saisir la déclaration d'initialisation prédéterminée.

Que mesure l'étude ?

Principaux critères de jugement

Mesure des résultats
Description de la mesure
Délai
Indicateurs experts-Précision
Délai: Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Quant aux indicateurs subjectifs d'experts, l'évaluation sera réalisée dans un délai de deux mois.
Sur la base des réponses des médecins aux problèmes des patients, une échelle de 5 points sera utilisée pour la notation par un panel d'experts : 5- Les réponses sont tout à fait précises, répondant à toutes les questions du patient ou établissant un diagnostic en identifiant les points clés du patient. plainte. 4- Les réponses sont pour la plupart précises, répondant généralement aux questions du patient ou établissant un diagnostic en identifiant les points clés de la plainte du patient. 3- Les réponses sont moyennement précises, répondant aux questions du patient ou établissant un diagnostic en identifiant les points clés de la plainte du patient. 2- Les réponses sont rarement précises, répondant à peine aux questions du patient ou diagnostiquant en identifiant les points clés de la plainte du patient. 1- Les réponses sont très inexactes, ne répondant pas du tout aux questions du patient ou ne établissant pas de diagnostic en identifiant les points clés de la plainte du patient.
Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Quant aux indicateurs subjectifs d'experts, l'évaluation sera réalisée dans un délai de deux mois.
Indicateurs experts-Exhaustivité
Délai: Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Quant aux indicateurs subjectifs d'experts, l'évaluation sera réalisée dans un délai de deux mois.
Sur la base des réponses des médecins aux problèmes des patients, une échelle de 5 points sera utilisée pour la notation par un panel d'experts : 5-Les réponses sont très complètes, abordant divers aspects des maladies potentielles correspondant aux symptômes du patient, fournissant des conseils détaillés, et offrant ses propres interprétations étendues. 4-Les réponses sont pour la plupart complètes, couvrant la plupart des aspects des maladies courantes potentielles liées aux symptômes du patient et fournissant des conseils assez détaillés. 3-Les réponses sont modérément complètes, abordant certains aspects de maladies courantes potentielles liées aux symptômes du patient et offrant des conseils de base. 2-Les réponses sont rarement complètes, ne prennent pas en compte les différents aspects des maladies courantes potentielles liées aux symptômes du patient et fournissent des conseils très limités. 1-Les réponses ne sont pas du tout complètes, négligeant la plupart des maladies potentielles liées aux symptômes du patient et ne fournissant aucun conseil.
Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Quant aux indicateurs subjectifs d'experts, l'évaluation sera réalisée dans un délai de deux mois.
Indicateurs experts – Exactitude
Délai: Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Quant aux indicateurs subjectifs d'experts, l'évaluation sera réalisée dans un délai de deux mois.
Sur la base des réponses des médecins aux problèmes des patients, une échelle de 5 points sera utilisée pour la notation par un panel d'experts : 5- Les réponses sont tout à fait correctes, sans déclarations inappropriées ou ambiguës. 4- Les réponses sont pour la plupart correctes, la plupart des affirmations étant appropriées et sans ambiguïté. 3- Les réponses sont généralement correctes, même s'il y a des déclarations inappropriées ou ambiguës, elles sont acceptables. 2- Les réponses sont partiellement correctes, avec peu d'énoncés appropriés ou sans ambiguïté. 1- Les réponses sont complètement incorrectes, presque toutes les affirmations étant inappropriées et pleines d'ambiguïtés.
Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Quant aux indicateurs subjectifs d'experts, l'évaluation sera réalisée dans un délai de deux mois.
Indicateurs experts-Conformité éthique
Délai: Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Quant aux indicateurs subjectifs d'experts, l'évaluation sera réalisée dans un délai de deux mois.
Sur la base de la réponse du médecin à la question du patient, un groupe d'experts examinera chaque élément conformément à la Déclaration d'Helsinki et au Code international d'éthique médicale, qui vise à déterminer s'il existe des réponses ou des suggestions qui pourraient potentiellement nuire au patient ou violer directives éthiques. Les résultats seront enregistrés à l'aide de variables binaires : Vrai-Les réponses sont totalement éthiques. Faux – En cas d'incertitude, la réponse comprend des suggestions pour l'utilisation de médicaments contrôlés et des conseils inappropriés, voire contre-productifs.
Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Quant aux indicateurs subjectifs d'experts, l'évaluation sera réalisée dans un délai de deux mois.
Indicateurs d'empathie
Délai: Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Quant aux indicateurs subjectifs d'empathie, l'évaluation sera réalisée dans un délai de deux mois.
Résultats des échelles CARE concernant la relation médecin-patient, qui ont été complétées par les patients après chaque séance de diagnostic. Plus précisément, la section de requête en ligne n'applique pas l'évaluation des échelles CARE.
Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Quant aux indicateurs subjectifs d'empathie, l'évaluation sera réalisée dans un délai de deux mois.

Mesures de résultats secondaires

Mesure des résultats
Description de la mesure
Délai
Indicateurs réguliers-Nombre total de questions
Délai: Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Une fois les dialogues terminés, le système résumera automatiquement tous les indicateurs objectifs et les informations du dialogue.
Le nombre de questions de suivi posées par le LLM ou le vrai médecin au patient après avoir fourni des réponses de base dans une conversation complète.
Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Une fois les dialogues terminés, le système résumera automatiquement tous les indicateurs objectifs et les informations du dialogue.
Indicateurs réguliers-Mots de suivi
Délai: Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Une fois les dialogues terminés, le système résumera automatiquement tous les indicateurs objectifs et les informations du dialogue.
Le nombre de mots dans les questions de suivi posées par le LLM ou le vrai médecin au patient après avoir fourni des réponses de base dans une conversation complète.
Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Une fois les dialogues terminés, le système résumera automatiquement tous les indicateurs objectifs et les informations du dialogue.
Indicateurs réguliers - Nombre total de conversations
Délai: Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Une fois les dialogues terminés, le système résumera automatiquement tous les indicateurs objectifs et les informations du dialogue.
Le nombre total de dialogues dans une conversation complète entre un utilisateur et des LLM ou un vrai médecin, où chaque dialogue consiste en une question et une réponse.
Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Une fois les dialogues terminés, le système résumera automatiquement tous les indicateurs objectifs et les informations du dialogue.
Indicateurs réguliers – Coût total de la conversation ($)
Délai: Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Une fois les dialogues terminés, le système résumera automatiquement tous les indicateurs objectifs et les informations du dialogue.
Le coût total en dollars pour terminer l’intégralité de la conversation.
Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Une fois les dialogues terminés, le système résumera automatiquement tous les indicateurs objectifs et les informations du dialogue.
Indicateurs réguliers-Durée totale de conversation (min)
Délai: Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Une fois les dialogues terminés, le système résumera automatiquement tous les indicateurs objectifs et les informations du dialogue.
Le chronométrage commence à partir de la saisie de l'utilisateur et s'arrête lorsque les LLM ou les vrais médecins terminent la sortie de la dernière phrase.
Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Une fois les dialogues terminés, le système résumera automatiquement tous les indicateurs objectifs et les informations du dialogue.
Indicateurs réguliers - Nombre d'énoncés de résultats
Délai: Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Une fois les dialogues terminés, le système résumera automatiquement tous les indicateurs objectifs et les informations du dialogue.
Le nombre total de mots produits par les LLM ou les vrais médecins.
Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Une fois les dialogues terminés, le système résumera automatiquement tous les indicateurs objectifs et les informations du dialogue.
Indicateurs réguliers - Nombre d'instructions d'entrée
Délai: Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Une fois les dialogues terminés, le système résumera automatiquement tous les indicateurs objectifs et les informations du dialogue.
La somme du nombre de caractères saisis par l'utilisateur.
Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Une fois les dialogues terminés, le système résumera automatiquement tous les indicateurs objectifs et les informations du dialogue.

Collaborateurs et enquêteurs

C'est ici que vous trouverez les personnes et les organisations impliquées dans cette étude.

Les enquêteurs

  • Chercheur principal: Jiebin Xie, Doctor, North Sichuan Medical College

Publications et liens utiles

La personne responsable de la saisie des informations sur l'étude fournit volontairement ces publications. Il peut s'agir de tout ce qui concerne l'étude.

Dates d'enregistrement des études

Ces dates suivent la progression des dossiers d'étude et des soumissions de résultats sommaires à ClinicalTrials.gov. Les dossiers d'étude et les résultats rapportés sont examinés par la Bibliothèque nationale de médecine (NLM) pour s'assurer qu'ils répondent à des normes de contrôle de qualité spécifiques avant d'être publiés sur le site Web public.

Dates principales de l'étude

Début de l'étude (Réel)

1 octobre 2023

Achèvement primaire (Réel)

12 décembre 2023

Achèvement de l'étude (Réel)

12 octobre 2024

Dates d'inscription aux études

Première soumission

4 juin 2024

Première soumission répondant aux critères de contrôle qualité

8 juin 2024

Première publication (Réel)

13 juin 2024

Mises à jour des dossiers d'étude

Dernière mise à jour publiée (Estimé)

27 novembre 2024

Dernière mise à jour soumise répondant aux critères de contrôle qualité

24 novembre 2024

Dernière vérification

1 novembre 2024

Plus d'information

Termes liés à cette étude

Autres numéros d'identification d'étude

  • 1426887-2024-1
  • 22XQT0309 (Autre subvention/numéro de financement: the cooperation of urban schools in Nanchong City)
  • CBY22-QDA15 (Autre subvention/numéro de financement: the doctoral startup fund of North Sichuan Medical College)
  • 2022LC005 (Autre subvention/numéro de financement: the affiliated hospital of North Sichuan Medical College)
  • 23JCYJPT0014 (Autre subvention/numéro de financement: the scientific research project of the science and technology bureau of Nanchong)

Informations sur les médicaments et les dispositifs, documents d'étude

Étudie un produit pharmaceutique réglementé par la FDA américaine

Non

Étudie un produit d'appareil réglementé par la FDA américaine

Non

Ces informations ont été extraites directement du site Web clinicaltrials.gov sans aucune modification. Si vous avez des demandes de modification, de suppression ou de mise à jour des détails de votre étude, veuillez contacter register@clinicaltrials.gov. Dès qu'un changement est mis en œuvre sur clinicaltrials.gov, il sera également mis à jour automatiquement sur notre site Web .

S'abonner