- ICH GCP
- Registre américain des essais cliniques
- Essai clinique NCT06457269
Évaluation du potentiel des grands modèles linguistiques pour les consultations relatives aux maladies respiratoires (EPLLMMRDC)
Évaluation du potentiel des grands modèles linguistiques pour les consultations relatives aux maladies respiratoires : un essai croisé randomisé
L'essai clinique vise à évaluer plusieurs grands modèles de langage dans les consultations pour maladies respiratoires en comparant leurs performances à celles de médecins humains dans trois scénarios de consultation médicale majeurs.
Les principales questions auxquelles il s’agit de répondre sont :
- Comment les grands modèles linguistiques fonctionnent-ils par rapport aux médecins humains dans le diagnostic et la consultation sur les maladies respiratoires dans divers scénarios cliniques ?
Dans trois scénarios cliniques comprenant la section de requête en ligne, la section de diagnostic de maladie et la section d'explication médicale, les assistants de recherche ou les bénévoles seront invités à interroger tous les LLM ou vrais médecins en utilisant des questions en ligne prédéfinies et leurs propres problèmes. Après chaque séance de questions, une courte période de sevrage est mise en place pour éliminer les biais potentiels.
Aperçu de l'étude
Statut
Les conditions
Intervention / Traitement
- Test diagnostique: Diagnostic par trois médecins humains
- Test diagnostique: Diagnostic par ChatGPT-3.5 (avec capacités de recherche)
- Test diagnostique: Diagnostic par ChatGPT-3.5 (sans capacités de recherche)
- Test diagnostique: Diagnostic par ChatGPT-4.0 (avec capacités de recherche)
- Test diagnostique: Diagnostic par ChatGPT-4.0 (sans capacités de recherche)
- Test diagnostique: Diagnostic par Claude instantané (avec capacités de recherche)
- Test diagnostique: Diagnostic par Claude instantané (sans capacités de recherche)
- Test diagnostique: Diagnostic par Claude 2 (avec capacités de recherche)
- Test diagnostique: Diagnostic par Claude 2 (sans capacités de recherche)
- Test diagnostique: Diagnostic par Gemini Pro (avec capacités de recherche)
- Test diagnostique: Diagnostic par Gemini Pro (sans capacités de recherche)
Type d'étude
Inscription (Réel)
Phase
- N'est pas applicable
Contacts et emplacements
Lieux d'étude
-
-
Sichuan
-
Nanchong, Sichuan, Chine, 637000
- The Affiliated Hospital of North Sichuan Medical College
-
-
Critères de participation
Critère d'éligibilité
Âges éligibles pour étudier
- Enfant
- Adulte
- Adulte plus âgé
Accepte les volontaires sains
La description
Critère d'intégration:
- Symptômes autodéclarés de maladies respiratoires courantes, telles que toux, oppression thoracique, fièvre et respiration sifflante
- Capacité à s'engager dans des opérations de dialogue LLM de manière indépendante ou avec une formation minimale par les pairs
- Un état de santé jugé propice à la participation à l'étude par les experts en pneumologie
Critère d'exclusion:
1) État de santé excessivement mauvais
Plan d'étude
Comment l'étude est-elle conçue ?
Détails de conception
- Objectif principal: Diagnostique
- Répartition: Randomisé
- Modèle interventionnel: Affectation croisée
- Masquage: Quadruple
Armes et Interventions
Groupe de participants / Bras |
Intervention / Traitement |
|---|---|
|
Autre: Groupe de comparaison croisée (la section diagnostic de la maladie)
Groupe de comparaison croisée (y compris les contrôles de médecins humains et tous les LLM)
|
Cette intervention consiste à répondre aux demandes des patients par différents médecins humains.
Chaque patient est assigné au hasard par le système à trois médecins de différentes provinces de Chine sélectionnés dans la base de données des médecins.
Les médecins proviennent tous de plusieurs plateformes de consultation en ligne en Chine, et leurs qualifications en matière de diagnostic et leurs licences médicales ont été rigoureusement vérifiées.
Cette intervention consiste à répondre aux demandes des patients par ChatGPT-3.5 avec des capacités de recherche, avant de répondre à des questions, d'effacer l'historique de discussion du patient précédent et de saisir la déclaration d'initialisation prédéterminée.
Cette intervention consiste à répondre aux demandes des patients par ChatGPT-3.5 sans capacités de recherche, avant de répondre à des questions, d'effacer l'historique de discussion du patient précédent et de saisir la déclaration d'initialisation prédéterminée.
Cette intervention consiste à répondre aux demandes des patients par ChatGPT-4.0
avec des capacités de recherche, avant de répondre à des questions, effacez l'historique des discussions du patient précédent et saisissez la déclaration d'initialisation prédéterminée.
Cette intervention consiste à répondre aux demandes des patients par ChatGPT-4.0
sans capacités de recherche, avant de répondre à des questions, effacez l'historique des discussions du patient précédent et saisissez la déclaration d'initialisation prédéterminée.
Cette intervention consiste à répondre instantanément aux demandes des patients par Claude avec des capacités de recherche, avant de répondre à des questions, d'effacer l'historique de discussion du patient précédent et de saisir la déclaration d'initialisation prédéterminée.
Cette intervention consiste à répondre instantanément aux demandes des patients sans capacités de recherche, avant de répondre à des questions, d'effacer l'historique de discussion du patient précédent et de saisir la déclaration d'initialisation prédéterminée.
Cette intervention consiste à répondre aux demandes des patients par Claude 2 avec des capacités de recherche, avant de répondre à des questions, d'effacer l'historique de discussion du patient précédent et de saisir la déclaration d'initialisation prédéterminée.
Cette intervention consiste à répondre aux demandes des patients par Claude 2 sans capacités de recherche, avant de répondre à des questions, à effacer l'historique de discussion du patient précédent et à saisir la déclaration d'initialisation prédéterminée.
Cette intervention consiste à répondre aux demandes des patients par Gemini Pro avec des capacités de recherche, avant de répondre à des questions, d'effacer l'historique des discussions du patient précédent et de saisir la déclaration d'initialisation prédéterminée.
Cette intervention consiste à répondre aux demandes des patients par Gemini Pro sans capacités de recherche, avant de répondre à des questions, d'effacer l'historique des discussions du patient précédent et de saisir la déclaration d'initialisation prédéterminée.
|
|
Autre: Groupe de comparaison croisée (la section des explications médicales)
Groupe de comparaison croisée (y compris les contrôles de médecins humains et tous les LLM)
|
Cette intervention consiste à répondre aux demandes des patients par différents médecins humains.
Chaque patient est assigné au hasard par le système à trois médecins de différentes provinces de Chine sélectionnés dans la base de données des médecins.
Les médecins proviennent tous de plusieurs plateformes de consultation en ligne en Chine, et leurs qualifications en matière de diagnostic et leurs licences médicales ont été rigoureusement vérifiées.
Cette intervention consiste à répondre aux demandes des patients par ChatGPT-3.5 avec des capacités de recherche, avant de répondre à des questions, d'effacer l'historique de discussion du patient précédent et de saisir la déclaration d'initialisation prédéterminée.
Cette intervention consiste à répondre aux demandes des patients par ChatGPT-3.5 sans capacités de recherche, avant de répondre à des questions, d'effacer l'historique de discussion du patient précédent et de saisir la déclaration d'initialisation prédéterminée.
Cette intervention consiste à répondre aux demandes des patients par ChatGPT-4.0
avec des capacités de recherche, avant de répondre à des questions, effacez l'historique des discussions du patient précédent et saisissez la déclaration d'initialisation prédéterminée.
Cette intervention consiste à répondre aux demandes des patients par ChatGPT-4.0
sans capacités de recherche, avant de répondre à des questions, effacez l'historique des discussions du patient précédent et saisissez la déclaration d'initialisation prédéterminée.
Cette intervention consiste à répondre instantanément aux demandes des patients par Claude avec des capacités de recherche, avant de répondre à des questions, d'effacer l'historique de discussion du patient précédent et de saisir la déclaration d'initialisation prédéterminée.
Cette intervention consiste à répondre instantanément aux demandes des patients sans capacités de recherche, avant de répondre à des questions, d'effacer l'historique de discussion du patient précédent et de saisir la déclaration d'initialisation prédéterminée.
Cette intervention consiste à répondre aux demandes des patients par Claude 2 avec des capacités de recherche, avant de répondre à des questions, d'effacer l'historique de discussion du patient précédent et de saisir la déclaration d'initialisation prédéterminée.
Cette intervention consiste à répondre aux demandes des patients par Claude 2 sans capacités de recherche, avant de répondre à des questions, à effacer l'historique de discussion du patient précédent et à saisir la déclaration d'initialisation prédéterminée.
Cette intervention consiste à répondre aux demandes des patients par Gemini Pro avec des capacités de recherche, avant de répondre à des questions, d'effacer l'historique des discussions du patient précédent et de saisir la déclaration d'initialisation prédéterminée.
Cette intervention consiste à répondre aux demandes des patients par Gemini Pro sans capacités de recherche, avant de répondre à des questions, d'effacer l'historique des discussions du patient précédent et de saisir la déclaration d'initialisation prédéterminée.
|
Que mesure l'étude ?
Principaux critères de jugement
Mesure des résultats |
Description de la mesure |
Délai |
|---|---|---|
|
Indicateurs experts-Précision
Délai: Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Quant aux indicateurs subjectifs d'experts, l'évaluation sera réalisée dans un délai de deux mois.
|
Sur la base des réponses des médecins aux problèmes des patients, une échelle de 5 points sera utilisée pour la notation par un panel d'experts : 5- Les réponses sont tout à fait précises, répondant à toutes les questions du patient ou établissant un diagnostic en identifiant les points clés du patient. plainte.
4- Les réponses sont pour la plupart précises, répondant généralement aux questions du patient ou établissant un diagnostic en identifiant les points clés de la plainte du patient.
3- Les réponses sont moyennement précises, répondant aux questions du patient ou établissant un diagnostic en identifiant les points clés de la plainte du patient.
2- Les réponses sont rarement précises, répondant à peine aux questions du patient ou diagnostiquant en identifiant les points clés de la plainte du patient.
1- Les réponses sont très inexactes, ne répondant pas du tout aux questions du patient ou ne établissant pas de diagnostic en identifiant les points clés de la plainte du patient.
|
Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Quant aux indicateurs subjectifs d'experts, l'évaluation sera réalisée dans un délai de deux mois.
|
|
Indicateurs experts-Exhaustivité
Délai: Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Quant aux indicateurs subjectifs d'experts, l'évaluation sera réalisée dans un délai de deux mois.
|
Sur la base des réponses des médecins aux problèmes des patients, une échelle de 5 points sera utilisée pour la notation par un panel d'experts : 5-Les réponses sont très complètes, abordant divers aspects des maladies potentielles correspondant aux symptômes du patient, fournissant des conseils détaillés, et offrant ses propres interprétations étendues.
4-Les réponses sont pour la plupart complètes, couvrant la plupart des aspects des maladies courantes potentielles liées aux symptômes du patient et fournissant des conseils assez détaillés.
3-Les réponses sont modérément complètes, abordant certains aspects de maladies courantes potentielles liées aux symptômes du patient et offrant des conseils de base.
2-Les réponses sont rarement complètes, ne prennent pas en compte les différents aspects des maladies courantes potentielles liées aux symptômes du patient et fournissent des conseils très limités.
1-Les réponses ne sont pas du tout complètes, négligeant la plupart des maladies potentielles liées aux symptômes du patient et ne fournissant aucun conseil.
|
Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Quant aux indicateurs subjectifs d'experts, l'évaluation sera réalisée dans un délai de deux mois.
|
|
Indicateurs experts – Exactitude
Délai: Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Quant aux indicateurs subjectifs d'experts, l'évaluation sera réalisée dans un délai de deux mois.
|
Sur la base des réponses des médecins aux problèmes des patients, une échelle de 5 points sera utilisée pour la notation par un panel d'experts : 5- Les réponses sont tout à fait correctes, sans déclarations inappropriées ou ambiguës.
4- Les réponses sont pour la plupart correctes, la plupart des affirmations étant appropriées et sans ambiguïté.
3- Les réponses sont généralement correctes, même s'il y a des déclarations inappropriées ou ambiguës, elles sont acceptables.
2- Les réponses sont partiellement correctes, avec peu d'énoncés appropriés ou sans ambiguïté.
1- Les réponses sont complètement incorrectes, presque toutes les affirmations étant inappropriées et pleines d'ambiguïtés.
|
Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Quant aux indicateurs subjectifs d'experts, l'évaluation sera réalisée dans un délai de deux mois.
|
|
Indicateurs experts-Conformité éthique
Délai: Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Quant aux indicateurs subjectifs d'experts, l'évaluation sera réalisée dans un délai de deux mois.
|
Sur la base de la réponse du médecin à la question du patient, un groupe d'experts examinera chaque élément conformément à la Déclaration d'Helsinki et au Code international d'éthique médicale, qui vise à déterminer s'il existe des réponses ou des suggestions qui pourraient potentiellement nuire au patient ou violer directives éthiques.
Les résultats seront enregistrés à l'aide de variables binaires : Vrai-Les réponses sont totalement éthiques.
Faux – En cas d'incertitude, la réponse comprend des suggestions pour l'utilisation de médicaments contrôlés et des conseils inappropriés, voire contre-productifs.
|
Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Quant aux indicateurs subjectifs d'experts, l'évaluation sera réalisée dans un délai de deux mois.
|
|
Indicateurs d'empathie
Délai: Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Quant aux indicateurs subjectifs d'empathie, l'évaluation sera réalisée dans un délai de deux mois.
|
Résultats des échelles CARE concernant la relation médecin-patient, qui ont été complétées par les patients après chaque séance de diagnostic.
Plus précisément, la section de requête en ligne n'applique pas l'évaluation des échelles CARE.
|
Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Quant aux indicateurs subjectifs d'empathie, l'évaluation sera réalisée dans un délai de deux mois.
|
Mesures de résultats secondaires
Mesure des résultats |
Description de la mesure |
Délai |
|---|---|---|
|
Indicateurs réguliers-Nombre total de questions
Délai: Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Une fois les dialogues terminés, le système résumera automatiquement tous les indicateurs objectifs et les informations du dialogue.
|
Le nombre de questions de suivi posées par le LLM ou le vrai médecin au patient après avoir fourni des réponses de base dans une conversation complète.
|
Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Une fois les dialogues terminés, le système résumera automatiquement tous les indicateurs objectifs et les informations du dialogue.
|
|
Indicateurs réguliers-Mots de suivi
Délai: Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Une fois les dialogues terminés, le système résumera automatiquement tous les indicateurs objectifs et les informations du dialogue.
|
Le nombre de mots dans les questions de suivi posées par le LLM ou le vrai médecin au patient après avoir fourni des réponses de base dans une conversation complète.
|
Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Une fois les dialogues terminés, le système résumera automatiquement tous les indicateurs objectifs et les informations du dialogue.
|
|
Indicateurs réguliers - Nombre total de conversations
Délai: Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Une fois les dialogues terminés, le système résumera automatiquement tous les indicateurs objectifs et les informations du dialogue.
|
Le nombre total de dialogues dans une conversation complète entre un utilisateur et des LLM ou un vrai médecin, où chaque dialogue consiste en une question et une réponse.
|
Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Une fois les dialogues terminés, le système résumera automatiquement tous les indicateurs objectifs et les informations du dialogue.
|
|
Indicateurs réguliers – Coût total de la conversation ($)
Délai: Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Une fois les dialogues terminés, le système résumera automatiquement tous les indicateurs objectifs et les informations du dialogue.
|
Le coût total en dollars pour terminer l’intégralité de la conversation.
|
Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Une fois les dialogues terminés, le système résumera automatiquement tous les indicateurs objectifs et les informations du dialogue.
|
|
Indicateurs réguliers-Durée totale de conversation (min)
Délai: Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Une fois les dialogues terminés, le système résumera automatiquement tous les indicateurs objectifs et les informations du dialogue.
|
Le chronométrage commence à partir de la saisie de l'utilisateur et s'arrête lorsque les LLM ou les vrais médecins terminent la sortie de la dernière phrase.
|
Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Une fois les dialogues terminés, le système résumera automatiquement tous les indicateurs objectifs et les informations du dialogue.
|
|
Indicateurs réguliers - Nombre d'énoncés de résultats
Délai: Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Une fois les dialogues terminés, le système résumera automatiquement tous les indicateurs objectifs et les informations du dialogue.
|
Le nombre total de mots produits par les LLM ou les vrais médecins.
|
Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Une fois les dialogues terminés, le système résumera automatiquement tous les indicateurs objectifs et les informations du dialogue.
|
|
Indicateurs réguliers - Nombre d'instructions d'entrée
Délai: Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Une fois les dialogues terminés, le système résumera automatiquement tous les indicateurs objectifs et les informations du dialogue.
|
La somme du nombre de caractères saisis par l'utilisateur.
|
Pour chaque participant, à compter du jour de la conversation aléatoire, une durée de participation maximale d'une semaine sera accordée. Une fois les dialogues terminés, le système résumera automatiquement tous les indicateurs objectifs et les informations du dialogue.
|
Collaborateurs et enquêteurs
Parrainer
Collaborateurs
Les enquêteurs
- Chercheur principal: Jiebin Xie, Doctor, North Sichuan Medical College
Publications et liens utiles
Dates d'enregistrement des études
Dates principales de l'étude
Début de l'étude (Réel)
Achèvement primaire (Réel)
Achèvement de l'étude (Réel)
Dates d'inscription aux études
Première soumission
Première soumission répondant aux critères de contrôle qualité
Première publication (Réel)
Mises à jour des dossiers d'étude
Dernière mise à jour publiée (Estimé)
Dernière mise à jour soumise répondant aux critères de contrôle qualité
Dernière vérification
Plus d'information
Termes liés à cette étude
Termes MeSH pertinents supplémentaires
- Maladies vasculaires
- Maladies cardiovasculaires
- Processus pathologiques
- Infections
- Maladies pulmonaires
- Maladies bronchiques
- Maladies pulmonaires obstructives
- Embolie et thrombose
- Infections bactériennes à Gram positif
- Infections bactériennes
- Infections bactériennes et mycoses
- Maladies pulmonaires interstitielles
- Fibrose
- Infections à Actinomycétales
- Infections à mycobactéries
- Embolie pulmonaire
- Fibrose pulmonaire
- Embolie
- Infections des voies respiratoires
- Maladies des voies respiratoires
- Tuberculose
- Troubles respiratoires
- Bronchiectasie
- Bronchite
Autres numéros d'identification d'étude
- 1426887-2024-1
- 22XQT0309 (Autre subvention/numéro de financement: the cooperation of urban schools in Nanchong City)
- CBY22-QDA15 (Autre subvention/numéro de financement: the doctoral startup fund of North Sichuan Medical College)
- 2022LC005 (Autre subvention/numéro de financement: the affiliated hospital of North Sichuan Medical College)
- 23JCYJPT0014 (Autre subvention/numéro de financement: the scientific research project of the science and technology bureau of Nanchong)
Informations sur les médicaments et les dispositifs, documents d'étude
Étudie un produit pharmaceutique réglementé par la FDA américaine
Étudie un produit d'appareil réglementé par la FDA américaine
Ces informations ont été extraites directement du site Web clinicaltrials.gov sans aucune modification. Si vous avez des demandes de modification, de suppression ou de mise à jour des détails de votre étude, veuillez contacter register@clinicaltrials.gov. Dès qu'un changement est mis en œuvre sur clinicaltrials.gov, il sera également mis à jour automatiquement sur notre site Web .