Interactions des algorithmes humains pour le diagnostic de l'insuffisance respiratoire aiguë
17 octobre 2023 mis à jour par: Michael Sjoding, University of Michigan
Mesurer l'impact de l'IA sur le diagnostic des patients hospitalisés : une étude multicentrique randomisée par vignette
L’intelligence artificielle (IA) s’avère prometteuse pour identifier les anomalies dans les images cliniques. Cependant, les modèles d’IA systématiquement biaisés, dans lesquels un modèle fait des prédictions inexactes pour des sous-populations entières, peuvent conduire à des erreurs et à des préjudices potentiels. Lorsque les prédictions incorrectes d’un modèle d’IA sont présentées, la précision du diagnostic du clinicien peut être affectée. Cette étude vise à étudier l'efficacité de la fourniture aux cliniciens d'explications de modèles d'IA basées sur des images lorsque des prédictions de modèles d'IA sont fournies pour aider les cliniciens à mieux comprendre la logique de la prédiction d'un modèle d'IA. Il évaluera si le fait de fournir aux cliniciens des explications sur les modèles d’IA peut améliorer la précision du diagnostic et aider les cliniciens à détecter lorsque les modèles prennent des décisions incorrectes. En tant que cas test, l'étude se concentrera sur le diagnostic de l'insuffisance respiratoire aiguë, car la détermination des causes sous-jacentes de l'insuffisance respiratoire aiguë est d'une importance cruciale pour guider les décisions de traitement, mais peut s'avérer cliniquement difficile.
Pour déterminer si fournir des explications sur l'IA peut améliorer la précision du diagnostic des cliniciens et atténuer l'impact potentiel de la présentation aux cliniciens d'un modèle d'IA systématiquement biaisé, une étude randomisée d'enquête par vignette clinique sera menée. Au cours de l'enquête, les participants à l'étude se verront présenter des vignettes cliniques de patients hospitalisés pour insuffisance respiratoire aiguë, y compris les symptômes présentés par le patient, un examen physique, des résultats de laboratoire et une radiographie pulmonaire. Les participants à l'étude seront ensuite invités à évaluer la probabilité que l'insuffisance cardiaque, la pneumonie et/ou la maladie pulmonaire obstructive chronique (MPOC) soient le diagnostic sous-jacent. Au cours de vignettes spécifiques de l'enquête, les participants se verront également présenter des modèles d'IA standard ou systématiquement biaisés qui fournissent une estimation de la probabilité que l'insuffisance cardiaque, la pneumonie et/ou la BPCO soient le diagnostic sous-jacent. Les cliniciens seront randomisés pour voir les prédictions de l'IA seules ou les prédictions de l'IA avec des explications lorsque des modèles d'IA sont présentés. Cette conception d'enquête permettra de tester l'hypothèse selon laquelle des modèles systématiquement biaisés nuiraient à l'exactitude du diagnostic des cliniciens, mais les explications basées sur l'image couramment utilisées aideraient les cliniciens à retrouver partiellement leurs performances.
Aperçu de l'étude
Statut
Complété
Les conditions
Intervention / Traitement
- Autre: Prédictions du modèle d’intelligence artificielle sans explication
- Autre: Un modèle d’IA biaisé contre l’insuffisance cardiaque
- Autre: Un modèle d'IA biaisé contre la pneumonie
- Autre: Un modèle d’IA biaisé contre la BPCO
- Autre: Prédictions du modèle d'intelligence artificielle avec explication
Type d'étude
Interventionnel
Inscription (Réel)
457
Phase
- N'est pas applicable
Contacts et emplacements
Cette section fournit les coordonnées de ceux qui mènent l'étude et des informations sur le lieu où cette étude est menée.
Lieux d'étude
-
-
Michigan
-
Ann Arbor, Michigan, États-Unis, 48103
- University of Michigan
-
-
Critères de participation
Les chercheurs recherchent des personnes qui correspondent à une certaine description, appelée critères d'éligibilité. Certains exemples de ces critères sont l'état de santé général d'une personne ou des traitements antérieurs.
Critère d'éligibilité
Âges éligibles pour étudier
- Adulte
- Adulte plus âgé
Accepte les volontaires sains
Non
La description
Critère d'intégration:
- Médecins, infirmiers praticiens et assistants médicaux qui soignent des patients souffrant d'insuffisance respiratoire aiguë dans le cadre de leur pratique clinique
Critère d'exclusion:
- Médecins, infirmiers praticiens et assistants médicaux qui prodiguent uniquement des soins aux patients en ambulatoire
Plan d'étude
Cette section fournit des détails sur le plan d'étude, y compris la façon dont l'étude est conçue et ce que l'étude mesure.
Comment l'étude est-elle conçue ?
Détails de conception
- Objectif principal: Autre
- Répartition: Randomisé
- Modèle interventionnel: Affectation parallèle
- Masquage: Seul
Armes et Interventions
Groupe de participants / Bras |
Intervention / Traitement |
|---|---|
|
Expérimental: Modèle d'IA biaisé pour l'insuffisance cardiaque, pas d'explication de l'IA
Les participants de ce bras se verront montrer les prédictions du modèle d'IA standard au cours de 3 vignettes cliniques de patients dans le cadre de l'enquête et les prédictions du modèle d'IA systématiquement biaisées au cours de 3 vignettes cliniques.
Lorsqu'il présente des prédictions systématiquement biaisées du modèle d'IA, le modèle sera biaisé contre l'insuffisance cardiaque, prédisant toujours que l'insuffisance cardiaque est présente avec une forte probabilité chez les patients ayant un indice de masse corporelle (IMC) égal ou supérieur à 30.
Les prédictions standard seront affichées pour les 2 autres diagnostics.
Les participants de ce volet ne recevront pas d'explication de l'IA lorsqu'ils afficheront les prédictions du modèle d'IA.
|
Au cours de 6 vignettes cliniques, les participants verront les prédictions du modèle d'IA sans explication d'IA correspondante.
Le modèle d'IA fournira un score pour chaque diagnostic (insuffisance cardiaque, pneumonie, BPCO) sur une échelle de 0 à 100, estimant la probabilité que la présentation du patient soit due à chacun de ces diagnostics.
Dans 3 des vignettes cliniques, les participants verront les prédictions du modèle d'IA standard et 3 vignettes leur seront présentées des prédictions du modèle d'IA systématiquement biaisées, le modèle étant spécifiquement biaisé par rapport à l'un des trois diagnostics.
Dans 3 vignettes cliniques, les participants verront des prédictions systématiquement biaisées du modèle d'IA, le modèle étant spécifiquement biaisé contre l'insuffisance cardiaque, prédisant toujours que l'insuffisance cardiaque est présente avec une forte probabilité chez les patients de la vignette d'enquête ayant un indice de masse corporelle (IMC) égal ou supérieur à 30.
Les prédictions standard seront affichées pour les 2 autres diagnostics (pneumonie, BPCO).
|
|
Expérimental: Modèle d'IA biaisé pour la pneumonie, pas d'explication de l'IA
Les participants de ce bras se verront montrer les prédictions du modèle d'IA standard au cours de 3 vignettes cliniques de patients dans le cadre de l'enquête et les prédictions du modèle d'IA systématiquement biaisées au cours de 3 vignettes cliniques.
Lorsqu'il présente des prédictions systématiquement biaisées du modèle d'IA, le modèle sera biaisé contre la pneumonie, prédisant toujours que la pneumonie est présente avec une forte probabilité chez les patients de 80 ans ou plus.
Les prédictions standard seront affichées pour les 2 autres diagnostics.
Les participants de ce volet ne recevront pas d'explication de l'IA lorsqu'ils afficheront les prédictions du modèle d'IA.
|
Au cours de 6 vignettes cliniques, les participants verront les prédictions du modèle d'IA sans explication d'IA correspondante.
Le modèle d'IA fournira un score pour chaque diagnostic (insuffisance cardiaque, pneumonie, BPCO) sur une échelle de 0 à 100, estimant la probabilité que la présentation du patient soit due à chacun de ces diagnostics.
Dans 3 des vignettes cliniques, les participants verront les prédictions du modèle d'IA standard et 3 vignettes leur seront présentées des prédictions du modèle d'IA systématiquement biaisées, le modèle étant spécifiquement biaisé par rapport à l'un des trois diagnostics.
Dans 3 vignettes cliniques, les participants verront des prédictions du modèle d'IA systématiquement biaisées, le modèle étant spécifiquement biaisé contre la pneumonie, prédisant toujours que la pneumonie est présente avec une forte probabilité chez les patients de la vignette d'enquête de 80 ans ou plus.
Les prédictions standard seront affichées pour les 2 autres diagnostics (insuffisance cardiaque, BPCO).
|
|
Expérimental: Modèle d'IA biaisé pour la BPCO, pas d'explication de l'IA
Les participants de ce bras se verront montrer les prédictions du modèle d'IA standard au cours de 3 vignettes cliniques de patients dans le cadre de l'enquête et les prédictions du modèle d'IA systématiquement biaisées au cours de 3 vignettes cliniques.
Lorsqu'il présente des prédictions systématiquement biaisées du modèle d'IA, le modèle sera biaisé contre la BPCO, prédisant toujours que la BPCO est présente avec une forte probabilité lorsqu'un filtre de prétraitement a été appliqué à la radiographie du patient.
Les prédictions standard seront affichées pour les 2 autres diagnostics.
Les participants de ce volet ne recevront pas d'explication de l'IA lorsqu'ils afficheront les prédictions du modèle d'IA.
|
Au cours de 6 vignettes cliniques, les participants verront les prédictions du modèle d'IA sans explication d'IA correspondante.
Le modèle d'IA fournira un score pour chaque diagnostic (insuffisance cardiaque, pneumonie, BPCO) sur une échelle de 0 à 100, estimant la probabilité que la présentation du patient soit due à chacun de ces diagnostics.
Dans 3 des vignettes cliniques, les participants verront les prédictions du modèle d'IA standard et 3 vignettes leur seront présentées des prédictions du modèle d'IA systématiquement biaisées, le modèle étant spécifiquement biaisé par rapport à l'un des trois diagnostics.
Dans 3 vignettes cliniques, les participants verront des prédictions du modèle d'IA systématiquement biaisées, le modèle étant spécifiquement biaisé contre la BPCO, prédisant toujours que la BPCO est présente avec une forte probabilité chez les patients de la vignette d'enquête où un filtre de pré-traitement a été appliqué à la radiographie du patient.
Des prédictions standard seront affichées pour les 2 autres diagnostics (insuffisance cardiaque, pneumonie).
|
|
Expérimental: Modèle d'IA biaisé pour l'insuffisance cardiaque, explication de l'IA basée sur l'image présentée
Les participants de ce bras se verront montrer les prédictions du modèle d'IA standard au cours de 3 vignettes cliniques de patients dans le cadre de l'enquête et les prédictions du modèle d'IA systématiquement biaisées au cours de 3 vignettes cliniques.
Lorsqu'il présente des prédictions systématiquement biaisées du modèle d'IA, le modèle sera biaisé contre l'insuffisance cardiaque, prédisant toujours que l'insuffisance cardiaque est présente avec une forte probabilité chez les patients ayant un indice de masse corporelle (IMC) égal ou supérieur à 30.
Les prédictions standard seront affichées pour les 2 autres diagnostics.
Les participants de ce bras recevront également une explication de l'IA lorsqu'on leur montrera les prédictions du modèle d'IA.
|
Dans 3 vignettes cliniques, les participants verront des prédictions systématiquement biaisées du modèle d'IA, le modèle étant spécifiquement biaisé contre l'insuffisance cardiaque, prédisant toujours que l'insuffisance cardiaque est présente avec une forte probabilité chez les patients de la vignette d'enquête ayant un indice de masse corporelle (IMC) égal ou supérieur à 30.
Les prédictions standard seront affichées pour les 2 autres diagnostics (pneumonie, BPCO).
Au cours de 6 vignettes cliniques, les participants verront les prédictions du modèle d'IA avec explication.
Le modèle d'IA fournira un score pour chaque diagnostic sur une échelle de 0 à 100.
Dans 3 vignettes cliniques, les participants verront les prédictions du modèle d'IA standard et 3 vignettes leur seront présentées des prédictions du modèle d'IA systématiquement biaisées, le modèle étant spécifiquement biaisé par rapport à l'un des trois diagnostics.
Si le modèle d'IA fournit un score supérieur à 50, une explication du modèle d'IA sera affichée sous forme de cartes thermiques de cartographie d'activation de classe pondérée par gradient (Grad-CAM) superposées sur la radiographie pulmonaire qui mettent en évidence les régions de l'image affectant le plus la prédiction du modèle d'IA.
|
|
Expérimental: Modèle d'IA biaisé pour la pneumonie, explication de l'IA basée sur l'image présentée
Les participants de ce bras se verront montrer les prédictions du modèle d'IA standard au cours de 3 vignettes cliniques de patients dans le cadre de l'enquête et les prédictions du modèle d'IA systématiquement biaisées au cours de 3 vignettes cliniques.
Lorsqu'il présente des prédictions systématiquement biaisées du modèle d'IA, le modèle sera biaisé contre la pneumonie, prédisant toujours que la pneumonie est présente avec une forte probabilité chez les patients de 80 ans ou plus.
Les prédictions standard seront affichées pour les 2 autres diagnostics.
Les participants de ce bras recevront également une explication de l'IA lorsqu'on leur montrera les prédictions du modèle d'IA.
|
Dans 3 vignettes cliniques, les participants verront des prédictions du modèle d'IA systématiquement biaisées, le modèle étant spécifiquement biaisé contre la pneumonie, prédisant toujours que la pneumonie est présente avec une forte probabilité chez les patients de la vignette d'enquête de 80 ans ou plus.
Les prédictions standard seront affichées pour les 2 autres diagnostics (insuffisance cardiaque, BPCO).
Au cours de 6 vignettes cliniques, les participants verront les prédictions du modèle d'IA avec explication.
Le modèle d'IA fournira un score pour chaque diagnostic sur une échelle de 0 à 100.
Dans 3 vignettes cliniques, les participants verront les prédictions du modèle d'IA standard et 3 vignettes leur seront présentées des prédictions du modèle d'IA systématiquement biaisées, le modèle étant spécifiquement biaisé par rapport à l'un des trois diagnostics.
Si le modèle d'IA fournit un score supérieur à 50, une explication du modèle d'IA sera affichée sous forme de cartes thermiques de cartographie d'activation de classe pondérée par gradient (Grad-CAM) superposées sur la radiographie pulmonaire qui mettent en évidence les régions de l'image affectant le plus la prédiction du modèle d'IA.
|
|
Expérimental: Modèle d'IA biaisé pour la BPCO, explication de l'IA basée sur l'image présentée
Les participants de ce bras se verront montrer les prédictions du modèle d'IA standard au cours de 3 vignettes cliniques de patients dans le cadre de l'enquête et les prédictions du modèle d'IA systématiquement biaisées au cours de 3 vignettes cliniques.
Lorsqu'il présente des prédictions systématiquement biaisées du modèle d'IA, le modèle sera biaisé contre la BPCO, prédisant toujours que la BPCO est présente avec une forte probabilité lorsqu'un filtre de prétraitement a été appliqué à la radiographie du patient.
Les prédictions standard seront affichées pour les 2 autres diagnostics.
Les participants de ce bras recevront également une explication de l'IA lorsqu'on leur montrera les prédictions du modèle d'IA.
|
Dans 3 vignettes cliniques, les participants verront des prédictions du modèle d'IA systématiquement biaisées, le modèle étant spécifiquement biaisé contre la BPCO, prédisant toujours que la BPCO est présente avec une forte probabilité chez les patients de la vignette d'enquête où un filtre de pré-traitement a été appliqué à la radiographie du patient.
Des prédictions standard seront affichées pour les 2 autres diagnostics (insuffisance cardiaque, pneumonie).
Au cours de 6 vignettes cliniques, les participants verront les prédictions du modèle d'IA avec explication.
Le modèle d'IA fournira un score pour chaque diagnostic sur une échelle de 0 à 100.
Dans 3 vignettes cliniques, les participants verront les prédictions du modèle d'IA standard et 3 vignettes leur seront présentées des prédictions du modèle d'IA systématiquement biaisées, le modèle étant spécifiquement biaisé par rapport à l'un des trois diagnostics.
Si le modèle d'IA fournit un score supérieur à 50, une explication du modèle d'IA sera affichée sous forme de cartes thermiques de cartographie d'activation de classe pondérée par gradient (Grad-CAM) superposées sur la radiographie pulmonaire qui mettent en évidence les régions de l'image affectant le plus la prédiction du modèle d'IA.
|
Que mesure l'étude ?
Principaux critères de jugement
Mesure des résultats |
Description de la mesure |
Délai |
|---|---|---|
|
Précision du diagnostic des participants dans tous les contextes de vignettes cliniques
Délai: Jour 0
|
L’exactitude du diagnostic est définie comme le nombre d’évaluations diagnostiques correctes par rapport au nombre total d’évaluations diagnostiques.
Après avoir examiné chaque vignette clinique de patient dans le cadre de l'enquête, les participants seront invités à effectuer trois évaluations diagnostiques distinctes pour chaque vignette clinique, une pour l'insuffisance cardiaque, la pneumonie et la BPCO.
Si l'évaluation du participant est en accord avec l'étiquette de référence de chaque vignette, l'évaluation diagnostique est considérée comme correcte.
Des évaluations diagnostiques seront effectuées pendant que les participants remplissent l'enquête (jour 0), immédiatement après que le participant ait examiné la vignette clinique.
La précision du diagnostic des participants sera comparée selon les paramètres de vignette (pas de modèle d'IA, modèle d'IA standard, modèle d'IA standard avec explication, modèle d'IA biaisé, modèle d'IA biaisé avec explication).
|
Jour 0
|
Mesures de résultats secondaires
Mesure des résultats |
Description de la mesure |
Délai |
|---|---|---|
|
Précision de la sélection du traitement dans tous les paramètres de vignettes cliniques
Délai: Jour 0
|
L'exactitude de la sélection du traitement est définie comme si le participant choisit le traitement correct pour le patient dans la vignette clinique et peut choisir n'importe quelle combinaison de stéroïdes, d'antibiotiques, de diurétiques intraveineux (IV) ou aucun de ces traitements pour le patient.
Les évaluations de sélection de traitement seront effectuées pendant que les participants remplissent l'enquête (jour 0), immédiatement après que le participant ait examiné la vignette clinique.
La précision de la sélection du traitement des participants sera comparée dans les paramètres de vignette (pas de modèle d'IA, modèle d'IA standard, modèle d'IA standard avec explication, modèle d'IA biaisé, modèle d'IA biaisé avec explication).
|
Jour 0
|
|
Précision diagnostique spécifique au diagnostic dans tous les paramètres de vignettes cliniques
Délai: Jour 0
|
Précision du diagnostic spécifique à l'insuffisance cardiaque, à la pneumonie et à la BPCO dans tous les contextes de vignettes
|
Jour 0
|
Collaborateurs et enquêteurs
C'est ici que vous trouverez les personnes et les organisations impliquées dans cette étude.
Parrainer
Collaborateurs
Les enquêteurs
- Chercheur principal: Michael Sjoding, MD, University of Michigan
Dates d'enregistrement des études
Ces dates suivent la progression des dossiers d'étude et des soumissions de résultats sommaires à ClinicalTrials.gov. Les dossiers d'étude et les résultats rapportés sont examinés par la Bibliothèque nationale de médecine (NLM) pour s'assurer qu'ils répondent à des normes de contrôle de qualité spécifiques avant d'être publiés sur le site Web public.
Dates principales de l'étude
Début de l'étude (Réel)
1 avril 2022
Achèvement primaire (Réel)
31 janvier 2023
Achèvement de l'étude (Réel)
31 janvier 2023
Dates d'inscription aux études
Première soumission
17 octobre 2023
Première soumission répondant aux critères de contrôle qualité
17 octobre 2023
Première publication (Réel)
25 octobre 2023
Mises à jour des dossiers d'étude
Dernière mise à jour publiée (Réel)
25 octobre 2023
Dernière mise à jour soumise répondant aux critères de contrôle qualité
17 octobre 2023
Dernière vérification
1 octobre 2023
Plus d'information
Termes liés à cette étude
Mots clés
Termes MeSH pertinents supplémentaires
Autres numéros d'identification d'étude
- HUM00180745
- R01HL158626 (Subvention/contrat des NIH des États-Unis)
Plan pour les données individuelles des participants (IPD)
Prévoyez-vous de partager les données individuelles des participants (DPI) ?
OUI
Description du régime IPD
Les données pourraient être mises à la disposition d'autres chercheurs d'institutions de recherche accréditées après avoir conclu un accord d'utilisation des données avec l'Université du Michigan.
Délai de partage IPD
Les données seront partagées indéfiniment une fois l’étude publiée
Critères d'accès au partage IPD
Ces informations seront publiées sous forme de suppléments avec le manuscrit de l'étude.
Type d'informations de prise en charge du partage d'IPD
- PROTOCOLE D'ÉTUDE
- SÈVE
Informations sur les médicaments et les dispositifs, documents d'étude
Étudie un produit pharmaceutique réglementé par la FDA américaine
Non
Étudie un produit d'appareil réglementé par la FDA américaine
Non
Ces informations ont été extraites directement du site Web clinicaltrials.gov sans aucune modification. Si vous avez des demandes de modification, de suppression ou de mise à jour des détails de votre étude, veuillez contacter register@clinicaltrials.gov. Dès qu'un changement est mis en œuvre sur clinicaltrials.gov, il sera également mis à jour automatiquement sur notre site Web .