L'impact des grands modèles linguistiques sur le raisonnement diagnostique chez les médecins
Aperçu de l'étude
Description détaillée
Les erreurs de diagnostic constituent une source majeure de préjudices évitables pour les patients. Les progrès récents dans les grands modèles linguistiques (LLM), en particulier ChatGPT-4o, se sont révélés prometteurs pour améliorer la prise de décision médicale. Cependant, on sait peu de choses sur leur impact sur le raisonnement diagnostique des médecins (par exemple les médecins et les chirurgiens).
La précision du diagnostic repose sur un raisonnement clinique complexe et une évaluation minutieuse des données des patients. Alors que l'assistance de l'IA pourrait potentiellement réduire les erreurs et améliorer l'efficacité, ChatGPT-4o manque de validation médicale et pourrait introduire de nouveaux risques en raison de la génération d'informations incorrectes (également appelées hallucinations). Pour atténuer ces risques, les médecins ont besoin d'une formation adéquate pour comprendre les capacités, les limites et l'utilisation appropriée de ChatGPT-4o. Compte tenu de ces incertitudes et de l’importance d’une formation appropriée en IA, une évaluation systématique est essentielle avant la mise en œuvre clinique.
Cette étude randomisée évaluera si l'accès à ChatGPT-4o améliore les performances diagnostiques des médecins par rapport aux ressources conventionnelles (par exemple, manuels, bases de données médicales en ligne) seules. Tous les médecins participants auront suivi au moins un programme de formation de 10 heures couvrant l'utilisation de ChatGPT-4o, les techniques d'ingénierie rapide et les stratégies d'évaluation des résultats. Les participants fourniront des diagnostics différentiels avec des preuves à l'appui et des prochaines étapes recommandées pour les cas cliniques, avec des réponses évaluées par des évaluateurs en aveugle.
Type d'étude
Inscription (Réel)
Phase
- N'est pas applicable
Contacts et emplacements
Lieux d'étude
-
-
Punjab
-
Lahore, Punjab, Pakistan, 54792
- Lahore University of Management Sciences
-
-
Critères de participation
Critère d'éligibilité
Âges éligibles pour étudier
- Enfant
- Adulte
- Adulte plus âgé
Accepte les volontaires sains
La description
Critères d'intégration :
- Médecins pleinement ou provisoirement enregistrés auprès du Conseil médical et dentaire du Pakistan (PMDC).
- Baccalauréat en médecine terminé, examen de baccalauréat en chirurgie (MBBS). Le diplôme équivalent du MBBS aux États-Unis et au Canada est appelé Docteur en médecine (MD).
- Les participants doivent avoir suivi un programme de formation structuré sur l'utilisation de ChatGPT (ou d'un grand modèle de langage comparable), totalisant au moins 10 heures d'enseignement. Le programme doit inclure une pratique pratique liée aux aspects du LLM, en particulier l'ingénierie rapide et l'évaluation du contenu.
Critères d'exclusion :
- Tout autre médecin agréé (complet ou provisoire) auprès du PMDC (par exemple, professionnels titulaires d'un baccalauréat en chirurgie dentaire ou BDS).
Plan d'étude
Comment l'étude est-elle conçue ?
Détails de conception
- Objectif principal: Diagnostique
- Répartition: Randomisé
- Modèle interventionnel: Affectation parallèle
- Masquage: Aucun (étiquette ouverte)
Armes et Interventions
Groupe de participants / Bras |
Intervention / Traitement |
|---|---|
|
Comparateur actif: ChatGPT-4o
Le groupe aura accès à ChatGPT-4o.
|
Grand modèle de langage ChatGPT-4o d'OpenAI avec interface de chat.
|
|
Aucune intervention: Ressources conventionnelles
Le groupe n'aura pas accès à ChatGPT-4o mais sera encouragé à utiliser toutes les ressources de son choix en plus des grands modèles de langage (PubMed, Google sans aperçus de l'IA, etc.).
|
Que mesure l'étude ?
Principaux critères de jugement
Mesure des résultats |
Description de la mesure |
Délai |
|---|---|---|
|
Raisonnement diagnostique
Délai: Évalué à un moment donné pour chaque cas, lors de la session programmée d'évaluation du raisonnement diagnostique, qui a lieu entre 0 et 4 jours après l'inscription des participants.
|
Le résultat principal sera le pourcentage correct pour chaque cas (plage : 0 à 100).
Pour chaque cas, il sera demandé aux participants trois principaux diagnostics, les conclusions du cas qui soutiennent ce diagnostic et les conclusions du cas qui s'opposent à ce diagnostic.
Pour chaque diagnostic plausible, les participants recevront 1 point.
Les résultats appuyant le diagnostic et les résultats s'opposant au diagnostic seront également notés en fonction de leur exactitude, avec 1 point pour les réponses partiellement correctes et 2 points pour les réponses complètement correctes.
Les participants seront ensuite invités à nommer leur principal diagnostic, gagnant un point pour une réponse raisonnable et deux points pour la réponse la plus correcte.
Enfin, les participants seront invités à nommer jusqu'à 3 étapes suivantes pour évaluer plus en détail le patient avec un point attribué pour une réponse partiellement correcte et deux points pour une réponse complètement correcte.
Le résultat principal sera comparé au niveau du cas par les groupes randomisés.
|
Évalué à un moment donné pour chaque cas, lors de la session programmée d'évaluation du raisonnement diagnostique, qui a lieu entre 0 et 4 jours après l'inscription des participants.
|
Mesures de résultats secondaires
Mesure des résultats |
Description de la mesure |
Délai |
|---|---|---|
|
Temps consacré au diagnostic
Délai: Évalué à un moment donné pour chaque cas, lors de la session programmée d'évaluation du raisonnement diagnostique, qui a lieu entre 0 et 4 jours après l'inscription des participants.
|
Nous comparerons le temps (en secondes) que les participants passent par cas entre les deux bras d'étude.
|
Évalué à un moment donné pour chaque cas, lors de la session programmée d'évaluation du raisonnement diagnostique, qui a lieu entre 0 et 4 jours après l'inscription des participants.
|
Collaborateurs et enquêteurs
Parrainer
Collaborateurs
Les enquêteurs
- Chercheur principal: Ihsan Ayyub Qazi, PhD, Lahore University of Management Sciences
- Chercheur principal: Muhammad Asadullah Khawaja, MBBS, King Edward Medical University
- Chercheur principal: Ayesha Ali, PhD, Lahore University of Management Sciences
Dates d'enregistrement des études
Dates principales de l'étude
Début de l'étude (Réel)
Achèvement primaire (Réel)
Achèvement de l'étude (Réel)
Dates d'inscription aux études
Première soumission
Première soumission répondant aux critères de contrôle qualité
Première publication (Réel)
Mises à jour des dossiers d'étude
Dernière mise à jour publiée (Réel)
Dernière mise à jour soumise répondant aux critères de contrôle qualité
Dernière vérification
Plus d'information
Termes liés à cette étude
Termes MeSH pertinents supplémentaires
Autres numéros d'identification d'étude
- IRB-0342
Plan pour les données individuelles des participants (IPD)
Prévoyez-vous de partager les données individuelles des participants (DPI) ?
Informations sur les médicaments et les dispositifs, documents d'étude
Étudie un produit pharmaceutique réglementé par la FDA américaine
Étudie un produit d'appareil réglementé par la FDA américaine
produit fabriqué et exporté des États-Unis.
Ces informations ont été extraites directement du site Web clinicaltrials.gov sans aucune modification. Si vous avez des demandes de modification, de suppression ou de mise à jour des détails de votre étude, veuillez contacter register@clinicaltrials.gov. Dès qu'un changement est mis en œuvre sur clinicaltrials.gov, il sera également mis à jour automatiquement sur notre site Web .