Évaluation du Diagnostic Différentiel Vision One-Shot (OSVDE) et de la Non-Infériorité Conversationnelle Multi-Étapes (MSCNE) dans l'Entretien Médical par IA. (OSVDE-MSCNE)
Évaluation des performances du système d'entretien médical et de diagnostic par IA : Évaluation du diagnostic différentiel en vision unique (OSVDE) et évaluation de non-infériorité conversationnelle multi-étapes (MSCNE).
Cette étude évalue la performance diagnostique d'un système d'intelligence artificielle (IA) multimodal (AIMD.1) en utilisant des images médicales anonymisées et des simulations de patients semi-synthétiques. L'étude combine une analyse rétrospective de jeux de données d'images disponibles publiquement avec une collecte de données prospective de cliniciens certifiés qui effectuent des tâches d'évaluation diagnostique.
Dans l'étape d'Évaluation Différentielle Visuelle en Un Coup (OSVDE), les cliniciens examinent des images médicales anonymisées individuelles et génèrent une liste classée de diagnostics potentiels basée uniquement sur les caractéristiques visuelles. Dans l'étape d'Évaluation de Non-Infériorité Conversationnelle en Plusieurs Étapes (MSCNE), les cliniciens complètent des évaluations diagnostiques en utilisant des simulations de patients semi-synthétiques dérivées d'images médicales anonymisées. La performance des cliniciens sera comparée à celle du système d'IA sur les mêmes tâches diagnostiques.
Les participants humains sont uniquement des cliniciens certifiés qui fournissent des réponses diagnostiques. Les images médicales et les cas simulés sont des matériaux d'étude et ne sont pas considérés comme des participants à l'étude. Aucune donnée identifiable de patient n'est utilisée, et le système d'IA est évalué dans un environnement de recherche hors ligne et n'est pas utilisé pour la prise de décision clinique ou les soins aux patients.
Aperçu de l'étude
Statut
Les conditions
Intervention / Traitement
Description détaillée
Les systèmes d'intelligence artificielle (IA) ont démontré des capacités prometteuses dans le diagnostic médical ; cependant, une évaluation de référence rigoureuse est nécessaire avant le déploiement clinique. AIMD.1 est un système de diagnostic IA multimodal conçu pour assister le raisonnement clinique grâce à l'analyse d'images médicales et d'interactions diagnostiques conversationnelles.
Cette étude évalue la performance diagnostique d'AIMD.1 en utilisant une combinaison de jeux de données d'images rétrospectives et de tâches d'évaluation prospective par des cliniciens. L'objectif est de déterminer si le système IA atteint une précision diagnostique comparable à celle de cliniciens certifiés dans des conditions de référence contrôlées.
L'évaluation comprend deux étapes complémentaires.
Évaluation Différentielle de Vision en Une Seule Passe (OSVDE) :
Dans cette étape, le système IA et les participants cliniciens examinent indépendamment des images médicales individuelles anonymisées et génèrent des listes classées de diagnostics potentiels basés uniquement sur les caractéristiques visuelles. L'évaluation utilisera environ 11 500 à 15 000 images médicales anonymisées couvrant de multiples spécialités médicales et catégories de maladies avec des diagnostics de référence vérifiés.
Évaluation de Non-Infériorité Conversationnelle à Plusieurs Étapes (MSCNE) :
Dans cette étape, le système IA et les cliniciens réalisent des tâches diagnostiques en utilisant des simulations de patients semi-synthétiques dérivées d'images médicales anonymisées. Ces simulations fournissent des informations cliniques structurées via des interactions conversationnelles, permettant l'évaluation du raisonnement diagnostique sur plusieurs étapes. Environ 380 à 500 cas simulés seront évalués.
Environ 10 à 30 cliniciens certifiés participeront à l'étude. Les cliniciens réaliseront des sessions d'évaluation diagnostique à distance et fourniront des diagnostics différentiels pour des sous-ensembles des cas d'images et de simulations. Les participants humains se composent uniquement de cliniciens fournissant des réponses diagnostiques. Les jeux de données d'images et les cas synthétiques servent de matériel d'étude et ne sont pas considérés comme des participants.
Toutes les images utilisées dans l'étude sont anonymisées et proviennent de sources publiquement disponibles ou de jeux de données répondant aux normes d'anonymisation. Des étapes de prétraitement supplémentaires assurent la suppression de toute information potentiellement identifiable avant leur inclusion dans le jeu de données de recherche.
Le système IA est évalué dans un environnement de recherche hors ligne et n'est pas utilisé pour guider des soins cliniques réels ou la prise en charge de patients. L'étude est conçue comme une évaluation de performance de référence avant toute validation prospective impliquant de vrais patients.
Les mesures de résultats primaires incluent des métriques de précision diagnostique telles que la précision diagnostique Top-1, définie comme la proportion de cas où le diagnostic principal du système IA correspond au diagnostic de référence. Les résultats secondaires incluent la précision diagnostique Top-5, les métriques d'étalonnage, la sensibilité et la spécificité à travers les catégories de maladies, et les mesures de temps de diagnostic dans les scénarios diagnostiques conversationnels.
L'analyse des données estimera la précision diagnostique avec des intervalles de confiance et comparera la performance du système IA avec celle des cliniciens en utilisant des tests statistiques appariés et des analyses de non-infériorité.
Les réponses des cliniciens sont enregistrées en utilisant des identifiants d'étude anonymes, et seuls les résultats de performance agrégés seront rapportés. Aucune information identifiable sur les cliniciens ou les patients ne sera collectée ou publiée.
La durée de l'étude est estimée à environ six mois, incluant la préparation des jeux de données, les sessions d'évaluation par les cliniciens et l'analyse statistique.
Le protocole ID 1026 a été vérifié comme Exempt selon 45CFR46.104(d) Ex le 03/10/2026 par Solutions IRB (855) 226-4472 (www.solutionsirb.com)
Type d'étude
Inscription (Estimé)
Contacts et emplacements
Coordonnées de l'étude
- Nom: Luis R Soenksen, MSE, PhD
- Numéro de téléphone: (617) 936-9293
- E-mail: soenksen@nollahealth.com
Sauvegarde des contacts de l'étude
- Nom: Sean Geiger, B.S.
- Numéro de téléphone: (412) 412-8786
- E-mail: sean@nollahealth.com
Lieux d'étude
-
-
New York
-
New York, New York, États-Unis, 10003
- Recrutement
- Nolla Health (Magic Health Inc.)
-
Contact:
- Sean Geiger, B.S.
- Numéro de téléphone: (412) 412-8786
- E-mail: sean@nollahealth.com
-
Contact:
- Luis R Soenksen, MSE, PhD
- Numéro de téléphone: (617)936-9293
- E-mail: soenksen@nollahealth.com
-
Chercheur principal:
- Luis R Soenksen, MSE, PhD
-
Sous-enquêteur:
- Sean Geiger, B.S.
-
Sous-enquêteur:
- Luis Wenus
-
-
Critères de participation
Critère d'éligibilité
Âges éligibles pour étudier
- Adulte
- Adulte plus âgé
Accepte les volontaires sains
Méthode d'échantillonnage
Population étudiée
La description
Critères d'inclusion :
- Certification active en dermatologie, médecine interne, oto-rhino-laryngologie, gynécologie, orthopédie, pédiatrie, gériatrie, médecine d'urgence, ophtalmologie, psychiatrie, endocrinologie, médecine familiale ou une spécialité étroitement liée
- Âge de 18 ans ou plus
- Capacité à effectuer les sessions d'évaluation diagnostique à distance en utilisant un ordinateur ou une tablette avec un accès internet fiable
Critères d'exclusion :
- Perte de la certification active dans une spécialité éligible
- Incapacité à effectuer la session d'évaluation à distance
Plan d'étude
Comment l'étude est-elle conçue ?
Détails de conception
Cohortes et interventions
Groupe / Cohorte |
Intervention / Traitement |
|---|---|
|
Participants Cliniciens
Cliniciens agréés qui participent à des tâches d'évaluation diagnostique utilisant des images médicales anonymisées et des simulations de patients semi-synthétiques pour évaluer la précision diagnostique.
Les cliniciens fournissent des diagnostics différentiels pour une comparaison de référence avec un système de diagnostic IA.
|
AIMD.1 (également connu sous le nom d'agent NollaMD) est un système de diagnostic par intelligence artificielle (IA) multimodal conçu pour générer des diagnostics différentiels basés sur l'analyse d'images médicales et d'informations cliniques structurées.
Dans cette étude, le système est évalué en utilisant des images médicales anonymisées et des simulations de patients semi-synthétiques dans des conditions de recherche contrôlées.
Le système d'IA génère des sorties diagnostiques classées et des scores de confiance associés, qui sont comparés aux diagnostics de référence et aux mesures de performance des cliniciens.
Le système est évalué dans un environnement de recherche hors ligne.
Les sorties de l'IA ne sont pas utilisées pour la prise de décision clinique, la gestion des patients ou les soins médicaux en situation réelle.
Autres noms:
|
Que mesure l'étude ?
Principaux critères de jugement
Mesure des résultats |
Description de la mesure |
Délai |
|---|---|---|
|
Précision diagnostique Top-1
Délai: À l'issue des évaluations diagnostiques (jusqu'à 6 mois)
|
Proportion des cas évalués pour lesquels le diagnostic principal généré par le Système de Diagnostic par IA correspond au diagnostic de référence (vérité terrain).
La précision sera calculée sur des cas d'images médicales anonymisées et des cas de simulation de patients semi-synthétiques, puis comparée aux performances des cliniciens.
|
À l'issue des évaluations diagnostiques (jusqu'à 6 mois)
|
Mesures de résultats secondaires
Mesure des résultats |
Description de la mesure |
Délai |
|---|---|---|
|
Précision diagnostique Top-5
Délai: À l’issue des évaluations diagnostiques (jusqu’à 6 mois)
|
Proportion des cas évalués pour lesquels le diagnostic de référence correct apparaît parmi les cinq premiers diagnostics classés générés par le Système de Diagnostic par IA.
|
À l’issue des évaluations diagnostiques (jusqu’à 6 mois)
|
|
Précision diagnostique des participants cliniciens
Délai: À l'issue des évaluations diagnostiques (jusqu'à 6 mois)
|
Proportion des cas évalués pour lesquels le diagnostic principal du participant clinicien correspond au diagnostic de référence, calculée sur l'ensemble des cas d'images et de simulations assignés.
|
À l'issue des évaluations diagnostiques (jusqu'à 6 mois)
|
|
Non-infériorité de la précision diagnostique de l'IA par rapport aux cliniciens
Délai: À l'issue des évaluations diagnostiques (jusqu'à 6 mois)
|
Différence de précision diagnostique Top-1 entre le système de diagnostic par IA et les participants cliniciens.
La non-infériorité sera évaluée à l'aide d'une marge prédéfinie de 5 %.
|
À l'issue des évaluations diagnostiques (jusqu'à 6 mois)
|
|
Calibration de la confiance diagnostique de l'IA
Délai: À l'issue des évaluations diagnostiques (jusqu'à 6 mois)
|
Performance d'étalonnage des scores de confiance diagnostique générés par l'IA évaluée à l'aide de l'erreur d'étalonnage attendue (ECE).
|
À l'issue des évaluations diagnostiques (jusqu'à 6 mois)
|
|
Aire sous la courbe ROC (AUC) et courbe de précision-rappel (PRC)
Délai: À l'issue des évaluations diagnostiques (jusqu'à 6 mois)
|
Surface sous la courbe caractéristique de fonctionnement du récepteur et courbe de précision-rappel pour la classification diagnostique par IA à travers les catégories de maladies.
|
À l'issue des évaluations diagnostiques (jusqu'à 6 mois)
|
|
Temps jusqu'au Diagnostic dans les Simulations Conversationnelles
Délai: À la fin des évaluations de simulation (jusqu'à 6 mois)
|
Nombre de tours de conversation requis par le système d'IA et les participants cliniciens pour parvenir à un diagnostic final dans les cas de simulation de patients semi-synthétiques.
|
À la fin des évaluations de simulation (jusqu'à 6 mois)
|
Collaborateurs et enquêteurs
Parrainer
Les enquêteurs
- Chercheur principal: Luis R Soenksen, MSE, PhD, Nolla Health
Dates d'enregistrement des études
Dates principales de l'étude
Début de l'étude (Réel)
Achèvement primaire (Estimé)
Achèvement de l'étude (Estimé)
Dates d'inscription aux études
Première soumission
Première soumission répondant aux critères de contrôle qualité
Première publication (Réel)
Mises à jour des dossiers d'étude
Dernière mise à jour publiée (Réel)
Dernière mise à jour soumise répondant aux critères de contrôle qualité
Dernière vérification
Plus d'information
Termes liés à cette étude
Mots clés
Autres numéros d'identification d'étude
- NH-OSVDE-MSCNE-1026
Plan pour les données individuelles des participants (IPD)
Prévoyez-vous de partager les données individuelles des participants (DPI) ?
Description du régime IPD
Informations sur les médicaments et les dispositifs, documents d'étude
Étudie un produit pharmaceutique réglementé par la FDA américaine
Étudie un produit d'appareil réglementé par la FDA américaine
Ces informations ont été extraites directement du site Web clinicaltrials.gov sans aucune modification. Si vous avez des demandes de modification, de suppression ou de mise à jour des détails de votre étude, veuillez contacter register@clinicaltrials.gov. Dès qu'un changement est mis en œuvre sur clinicaltrials.gov, il sera également mis à jour automatiquement sur notre site Web .