Valutazione della Diagnosi Differenziale Visiva One-Shot (OSVDE) e della Non-Inferiorità Conversazionale Multi-Step (MSCNE) nell'Intervista Medica con Intelligenza Artificiale. (OSVDE-MSCNE)
Valutazione delle Prestazioni del Sistema di Intervista Medica e Diagnostica IA: Diagnosi Differenziale a Visione Unica (OSVDE) e Valutazione di Non-Inferiorità Conversazionale Multi-Step (MSCNE).
Questo studio valuta le prestazioni diagnostiche di un sistema di intelligenza artificiale multimodale (AIMD.1) utilizzando immagini mediche anonimizzate e simulazioni di pazienti semi-sintetiche. Lo studio combina l'analisi retrospettiva di set di dati di immagini pubblicamente disponibili esistenti con la raccolta prospettica di dati da clinici certificati che completano compiti di valutazione diagnostica.
Nella fase di Valutazione Differenziale Visiva One-Shot (OSVDE), i clinici esaminano singole immagini mediche anonimizzate e generano un elenco classificato di diagnosi potenziali basandosi esclusivamente su caratteristiche visive. Nella fase di Valutazione di Non-Inferiorità Conversazionale Multi-Step (MSCNE), i clinici completano valutazioni diagnostiche utilizzando simulazioni di pazienti semi-sintetiche derivate da immagini mediche anonimizzate. Le prestazioni dei clinici saranno confrontate con quelle del sistema di intelligenza artificiale sugli stessi compiti diagnostici.
I partecipanti umani consistono esclusivamente in clinici certificati che forniscono risposte diagnostiche. Le immagini mediche e i casi simulati sono materiali di studio e non sono considerati partecipanti allo studio. Non vengono utilizzati dati identificabili dei pazienti e il sistema di intelligenza artificiale viene valutato in un ambiente di ricerca offline e non viene utilizzato per il processo decisionale clinico o l'assistenza ai pazienti.
Panoramica dello studio
Stato
Condizioni
Intervento / Trattamento
Descrizione dettagliata
I sistemi di intelligenza artificiale (IA) hanno dimostrato capacità promettenti nella diagnosi medica; tuttavia, è necessaria una rigorosa valutazione di benchmark prima della diffusione clinica. AIMD.1 è un sistema diagnostico di IA multimodale progettato per assistere il ragionamento clinico attraverso l'analisi di immagini mediche e interazioni diagnostiche conversazionali.
Questo studio valuta le prestazioni diagnostiche di AIMD.1 utilizzando una combinazione di set di dati di immagini retrospettive e compiti di valutazione clinica prospettici. L'obiettivo è determinare se il sistema di IA raggiunge un'accuratezza diagnostica comparabile a quella di clinici certificati in condizioni di benchmark controllate.
La valutazione include due fasi complementari.
Valutazione Differenziale Visiva One-Shot (OSVDE):
In questa fase, il sistema di IA e i partecipanti clinici esaminano indipendentemente singole immagini mediche de-identificate e generano liste ordinate di possibili diagnosi basate esclusivamente su caratteristiche visive. La valutazione utilizzerà approssimativamente 11.500-15.000 immagini mediche de-identificate attraverso specialità mediche multiple e categorie di malattie con diagnosi di riferimento verificate.
Valutazione di Non-Inferiorità Conversazionale Multi-Step (MSCNE):
In questa fase, il sistema di IA e i clinici completano compiti diagnostici utilizzando simulazioni di pazienti semi-sintetiche derivate da immagini mediche de-identificate. Queste simulazioni forniscono informazioni cliniche strutturate attraverso interazioni conversazionali, consentendo la valutazione del ragionamento diagnostico attraverso più passaggi. Saranno valutati approssimativamente 380-500 casi simulati.
Parteciperanno allo studio approssimativamente 10-30 clinici certificati. I clinici completeranno sessioni di valutazione diagnostica in remoto e forniranno diagnosi differenziali per sottoinsiemi dei casi di immagini e simulazioni. I partecipanti umani consistono esclusivamente di clinici che forniscono risposte diagnostiche. I set di dati di immagini e i casi sintetici servono come materiali di studio e non sono considerati partecipanti.
Tutte le immagini utilizzate nello studio sono de-identificate e provengono da fonti pubblicamente disponibili o set di dati che soddisfano standard di de-identificazione. Ulteriori passaggi di pre-elaborazione assicurano la rimozione di qualsiasi informazione potenzialmente identificabile prima dell'inclusione nel set di dati di ricerca.
Il sistema di IA è valutato in un ambiente di ricerca offline e non è utilizzato per guidare cure cliniche reali o gestione dei pazienti. Lo studio è progettato come una valutazione delle prestazioni di benchmark prima di qualsiasi validazione prospettica che coinvolga pazienti reali.
Le misure di esito primarie includono metriche di accuratezza diagnostica come l'accuratezza diagnostica Top-1, definita come la proporzione di casi in cui la diagnosi primaria del sistema di IA corrisponde alla diagnosi di riferimento. Gli esiti secondari includono l'accuratezza diagnostica Top-5, metriche di calibrazione, sensibilità e specificità attraverso categorie di malattie, e misure del tempo alla diagnosi in scenari diagnostici conversazionali.
L'analisi dei dati stimerà l'accuratezza diagnostica con intervalli di confidenza e confronterà le prestazioni del sistema di IA con quelle dei clinici utilizzando test statistici accoppiati e analisi di non-inferiorità.
Le risposte dei clinici sono registrate utilizzando identificatori anonimi di studio, e saranno riportati solo risultati aggregati delle prestazioni. Nessuna informazione identificabile su clinici o pazienti sarà raccolta o pubblicata.
La durata dello studio è prevista essere approssimativamente sei mesi, inclusi preparazione del set di dati, sessioni di valutazione clinica e analisi statistica.
Il protocollo ID 1026 è stato verificato come Esonerato secondo 45CFR46.104(d) Ex il 03/10/2026 da Solutions IRB (855) 226-4472 (www.solutionsirb.com)
Tipo di studio
Iscrizione (Stimato)
Contatti e Sedi
Contatto studio
- Nome: Luis R Soenksen, MSE, PhD
- Numero di telefono: (617) 936-9293
- Email: soenksen@nollahealth.com
Backup dei contatti dello studio
- Nome: Sean Geiger, B.S.
- Numero di telefono: (412) 412-8786
- Email: sean@nollahealth.com
Luoghi di studio
-
-
New York
-
New York, New York, Stati Uniti, 10003
- Reclutamento
- Nolla Health (Magic Health Inc.)
-
Contatto:
- Sean Geiger, B.S.
- Numero di telefono: (412) 412-8786
- Email: sean@nollahealth.com
-
Contatto:
- Luis R Soenksen, MSE, PhD
- Numero di telefono: (617)936-9293
- Email: soenksen@nollahealth.com
-
Investigatore principale:
- Luis R Soenksen, MSE, PhD
-
Sub-investigatore:
- Sean Geiger, B.S.
-
Sub-investigatore:
- Luis Wenus
-
-
Criteri di partecipazione
Criteri di ammissibilità
Età idonea allo studio
- Adulto
- Adulto più anziano
Accetta volontari sani
Metodo di campionamento
Popolazione di studio
Descrizione
Criteri di inclusione:
- Certificazione attiva del consiglio in Dermatologia, Medicina Interna, Otorinolaringoiatria, Ginecologia, Ortopedia, Pediatria, Geriatria, Medicina d'Urgenza, Oftalmologia, Psichiatria, Endocrinologia, Medicina di Famiglia o una specialità strettamente correlata
- Età di 18 anni o superiore
- Capacità di completare le sessioni di valutazione diagnostica in remoto utilizzando un computer o un tablet con accesso a Internet affidabile
Criteri di esclusione:
- Perdita della certificazione attiva del consiglio in una specialità idonea
- Incapacità di completare la sessione di valutazione in remoto
Piano di studio
Come è strutturato lo studio?
Dettagli di progettazione
Coorti e interventi
Gruppo / Coorte |
Intervento / Trattamento |
|---|---|
|
Partecipanti Clinici
Medici autorizzati che partecipano a compiti di valutazione diagnostica utilizzando immagini mediche anonime e simulazioni di pazienti semi-sintetiche per valutare l'accuratezza diagnostica.
I medici forniscono diagnosi differenziali per il confronto di riferimento con un sistema di diagnosi AI.
|
AIMD.1 (noto anche come agente NollaMD) è un sistema diagnostico di intelligenza artificiale (IA) multimodale progettato per generare diagnosi differenziali basate sull'analisi di immagini mediche e informazioni cliniche strutturate.
In questo studio, il sistema viene valutato utilizzando immagini mediche anonimizzate e simulazioni di pazienti semi-sintetiche in condizioni di ricerca controllate.
Il sistema di IA genera output diagnostici classificati e punteggi di confidenza associati, che vengono confrontati con diagnosi di riferimento e metriche di performance clinica.
Il sistema viene valutato in un ambiente di ricerca offline.
Gli output dell'IA non vengono utilizzati per il processo decisionale clinico, la gestione dei pazienti o l'assistenza medica nel mondo reale.
Altri nomi:
|
Cosa sta misurando lo studio?
Misure di risultato primarie
Misura del risultato |
Misura Descrizione |
Lasso di tempo |
|---|---|---|
|
Accuratezza Diagnostica Top-1
Lasso di tempo: Al termine delle valutazioni diagnostiche (fino a 6 mesi)
|
Proporzione dei casi valutati in cui la diagnosi primaria generata dal Sistema Diagnostico AI corrisponde alla diagnosi di riferimento (ground truth).
L'accuratezza sarà calcolata attraverso casi di immagini mediche de-identificate e casi di simulazione paziente semi-sintetici e confrontata con le prestazioni del clinico.
|
Al termine delle valutazioni diagnostiche (fino a 6 mesi)
|
Misure di risultato secondarie
Misura del risultato |
Misura Descrizione |
Lasso di tempo |
|---|---|---|
|
Top-5 Accuratezza Diagnostica
Lasso di tempo: Al termine delle valutazioni diagnostiche (fino a 6 mesi)
|
Proporzione di casi valutati in cui la diagnosi di riferimento corretta compare tra le prime cinque diagnosi classificate generate dal Sistema di Diagnosi AI.
|
Al termine delle valutazioni diagnostiche (fino a 6 mesi)
|
|
Accuratezza diagnostica dei partecipanti clinici
Lasso di tempo: Al completamento delle valutazioni diagnostiche (fino a 6 mesi)
|
Proporzione di casi valutati in cui la diagnosi primaria del partecipante clinico corrisponde alla diagnosi di riferimento, calcolata tra i casi di immagine e simulazione assegnati.
|
Al completamento delle valutazioni diagnostiche (fino a 6 mesi)
|
|
Non-inferiorità dell'accuratezza diagnostica dell'IA rispetto ai clinici
Lasso di tempo: Al completamento delle valutazioni diagnostiche (fino a 6 mesi)
|
Differenza nella precisione diagnostica Top-1 tra il Sistema Diagnostico di Intelligenza Artificiale e i partecipanti clinici.
La non-inferiorità sarà valutata utilizzando un margine predefinito del 5%.
|
Al completamento delle valutazioni diagnostiche (fino a 6 mesi)
|
|
Calibrazione della Fiducia Diagnostica dell'IA
Lasso di tempo: Al completamento delle valutazioni diagnostiche (fino a 6 mesi)
|
Prestazioni di calibrazione dei punteggi di fiducia diagnostica generati dall'IA valutate utilizzando l'Errore di Calibrazione Atteso (ECE).
|
Al completamento delle valutazioni diagnostiche (fino a 6 mesi)
|
|
Area Under the Receiver Operating Characteristic Curve (AUC) and Precision Recall Curve (PRC)
Lasso di tempo: Al completamento delle valutazioni diagnostiche (fino a 6 mesi)
|
Area sotto la curva ROC e la curva Precision-Recall per la classificazione diagnostica dell'IA attraverso le categorie di malattie.
|
Al completamento delle valutazioni diagnostiche (fino a 6 mesi)
|
|
Tempo per la Diagnosi nelle Simulazioni Conversazionali
Lasso di tempo: Al completamento delle valutazioni di simulazione (fino a 6 mesi)
|
Numero di turni conversazionali richiesti dal sistema di IA e dai partecipanti clinici per raggiungere una diagnosi finale in casi di simulazione di pazienti semi-sintetici.
|
Al completamento delle valutazioni di simulazione (fino a 6 mesi)
|
Collaboratori e investigatori
Investigatori
- Investigatore principale: Luis R Soenksen, MSE, PhD, Nolla Health
Studiare le date dei record
Studia le date principali
Inizio studio (Effettivo)
Completamento primario (Stimato)
Completamento dello studio (Stimato)
Date di iscrizione allo studio
Primo inviato
Primo inviato che soddisfa i criteri di controllo qualità
Primo Inserito (Effettivo)
Aggiornamenti dei record di studio
Ultimo aggiornamento pubblicato (Effettivo)
Ultimo aggiornamento inviato che soddisfa i criteri QC
Ultimo verificato
Maggiori informazioni
Termini relativi a questo studio
Parole chiave
Altri numeri di identificazione dello studio
- NH-OSVDE-MSCNE-1026
Piano per i dati dei singoli partecipanti (IPD)
Hai intenzione di condividere i dati dei singoli partecipanti (IPD)?
Descrizione del piano IPD
Informazioni su farmaci e dispositivi, documenti di studio
Studia un prodotto farmaceutico regolamentato dalla FDA degli Stati Uniti
Studia un dispositivo regolamentato dalla FDA degli Stati Uniti
Queste informazioni sono state recuperate direttamente dal sito web clinicaltrials.gov senza alcuna modifica. In caso di richieste di modifica, rimozione o aggiornamento dei dettagli dello studio, contattare register@clinicaltrials.gov. Non appena verrà implementata una modifica su clinicaltrials.gov, questa verrà aggiornata automaticamente anche sul nostro sito web .
Prove cliniche su Sistema di Diagnostica con Intelligenza Artificiale (AIMD.1)
-
Universitaire Ziekenhuizen KU LeuvenTerminato
-
Assiut UniversityCompletatoSindrome da ipoventilazione da obesità (OHS)Egitto
-
Poznan University of Physical EducationApprovato per il marketingCriostimolazione in particolare del corpo parzialePolonia
-
Universitaire Ziekenhuizen KU LeuvenSconosciutoIpertensione | Apnea ostruttiva del sonno | Disfunzione endotelialeBelgio
-
Sun Yat-sen UniversityNovo Nordisk A/S; Hoffmann-La Roche; Ministry of Education, China; Guangdong Science...CompletatoDiabete mellito di tipo 2Cina
-
Hospital Universitari de BellvitgeTerminato