Interacciones de algoritmos humanos para el diagnóstico de insuficiencia respiratoria aguda
17 de octubre de 2023 actualizado por: Michael Sjoding, University of Michigan
Medición del impacto de la IA en el diagnóstico de pacientes hospitalizados: un estudio multicéntrico de viñeta de encuesta aleatoria
La inteligencia artificial (IA) se muestra prometedora en la identificación de anomalías en imágenes clínicas. Sin embargo, los modelos de IA sistemáticamente sesgados, en los que un modelo hace predicciones inexactas para subpoblaciones enteras, pueden provocar errores y posibles daños. Cuando se muestran predicciones incorrectas de un modelo de IA, la precisión del diagnóstico clínico puede verse perjudicada. Este estudio tiene como objetivo estudiar la eficacia de proporcionar a los médicos explicaciones del modelo de IA basadas en imágenes cuando se les proporcionan predicciones del modelo de IA para ayudar a los médicos a comprender mejor la lógica de la predicción de un modelo de IA. Evaluará si proporcionar a los médicos explicaciones del modelo de IA puede mejorar la precisión del diagnóstico y ayudar a los médicos a detectar cuándo los modelos están tomando decisiones incorrectas. Como caso de prueba, el estudio se centrará en el diagnóstico de insuficiencia respiratoria aguda porque determinar las causas subyacentes de la insuficiencia respiratoria aguda es de vital importancia para guiar las decisiones de tratamiento, pero puede ser un desafío clínico.
Para determinar si proporcionar explicaciones de IA puede mejorar la precisión del diagnóstico clínico y aliviar el impacto potencial de mostrarles a los médicos un modelo de IA sistemáticamente sesgado, se llevará a cabo un estudio de encuesta de viñeta clínica aleatoria. Durante la encuesta, a los participantes del estudio se les mostrarán viñetas clínicas de pacientes hospitalizados con insuficiencia respiratoria aguda, incluidos los síntomas que presenta el paciente, el examen físico, los resultados de laboratorio y la radiografía de tórax. Luego se pedirá a los participantes del estudio que evalúen la probabilidad de que el diagnóstico subyacente sea insuficiencia cardíaca, neumonía y/o enfermedad pulmonar obstructiva crónica (EPOC). Durante viñetas específicas de la encuesta, a los participantes también se les mostrarán modelos de IA estándar o sistemáticamente sesgados que proporcionan una estimación de la probabilidad de que la insuficiencia cardíaca, la neumonía y/o la EPOC sean el diagnóstico subyacente. Los médicos serán asignados al azar para ver predicciones de IA solas o predicciones de IA con explicaciones cuando se les muestren modelos de IA. Este diseño de encuesta permitirá probar la hipótesis de que los modelos sistemáticamente sesgados dañarían la precisión del diagnóstico médico, pero las explicaciones basadas en imágenes de uso común ayudarían a los médicos a recuperar parcialmente su desempeño.
Descripción general del estudio
Estado
Terminado
Condiciones
Intervención / Tratamiento
Tipo de estudio
Intervencionista
Inscripción (Actual)
457
Fase
- No aplica
Contactos y Ubicaciones
Esta sección proporciona los datos de contacto de quienes realizan el estudio e información sobre dónde se lleva a cabo este estudio.
Ubicaciones de estudio
-
-
Michigan
-
Ann Arbor, Michigan, Estados Unidos, 48103
- University of Michigan
-
-
Criterios de participación
Los investigadores buscan personas que se ajusten a una determinada descripción, denominada criterio de elegibilidad. Algunos ejemplos de estos criterios son el estado de salud general de una persona o tratamientos previos.
Criterio de elegibilidad
Edades elegibles para estudiar
- Adulto
- Adulto Mayor
Acepta Voluntarios Saludables
No
Descripción
Criterios de inclusión:
- Médicos, enfermeras practicantes y asistentes médicos que atienden a pacientes con insuficiencia respiratoria aguda como parte de su práctica clínica.
Criterio de exclusión:
- Médicos, enfermeras practicantes y asistentes médicos que solo brindan atención al paciente en entornos ambulatorios.
Plan de estudios
Esta sección proporciona detalles del plan de estudio, incluido cómo está diseñado el estudio y qué mide el estudio.
¿Cómo está diseñado el estudio?
Detalles de diseño
- Propósito principal: Otro
- Asignación: Aleatorizado
- Modelo Intervencionista: Asignación paralela
- Enmascaramiento: Único
Armas e Intervenciones
Grupo de participantes/brazo |
Intervención / Tratamiento |
|---|---|
|
Experimental: Modelo de IA sesgado hacia la insuficiencia cardíaca, sin explicación de la IA
A los participantes de este grupo se les mostrarán predicciones del modelo de IA estándar durante 3 viñetas clínicas de pacientes dentro de la encuesta y predicciones del modelo de IA sistemáticamente sesgadas durante 3 viñetas clínicas.
Cuando se muestran predicciones del modelo de IA sistemáticamente sesgadas, el modelo estará sesgado contra la insuficiencia cardíaca, prediciendo siempre que la insuficiencia cardíaca está presente con alta probabilidad en pacientes con un índice de masa corporal (IMC) igual o superior a 30.
Se mostrarán predicciones estándar para los otros 2 diagnósticos.
A los participantes de este grupo no se les mostrará una explicación de IA cuando se les muestren predicciones del modelo de IA.
|
Durante seis viñetas clínicas, los participantes verán predicciones del modelo de IA sin la correspondiente explicación de IA.
El modelo de IA proporcionará una puntuación para cada diagnóstico (insuficiencia cardíaca, neumonía, EPOC) en una escala de 0 a 100 que estima la probabilidad de que la presentación del paciente se deba a cada uno de estos diagnósticos.
En 3 de las viñetas clínicas, a los participantes se les mostrarán predicciones del modelo de IA estándar y en 3 viñetas se les mostrarán predicciones del modelo de IA sistemáticamente sesgadas, con el modelo específicamente sesgado contra uno de los tres diagnósticos.
En 3 viñetas clínicas, a los participantes se les mostrarán predicciones del modelo de IA sistemáticamente sesgadas con el modelo específicamente sesgado contra la insuficiencia cardíaca, prediciendo siempre que la insuficiencia cardíaca está presente con alta probabilidad en pacientes de la viñeta de la encuesta con un índice de masa corporal (IMC) igual o superior a 30.
Se mostrarán predicciones estándar para los otros 2 diagnósticos (neumonía, EPOC).
|
|
Experimental: Modelo de IA sesgado hacia la neumonía, sin explicación de IA
A los participantes de este grupo se les mostrarán predicciones del modelo de IA estándar durante 3 viñetas clínicas de pacientes dentro de la encuesta y predicciones del modelo de IA sistemáticamente sesgadas durante 3 viñetas clínicas.
Cuando se muestran predicciones del modelo de IA sistemáticamente sesgadas, el modelo estará sesgado contra la neumonía, prediciendo siempre que la neumonía está presente con alta probabilidad en pacientes de 80 años o más.
Se mostrarán predicciones estándar para los otros 2 diagnósticos.
A los participantes de este grupo no se les mostrará una explicación de IA cuando se les muestren predicciones del modelo de IA.
|
Durante seis viñetas clínicas, los participantes verán predicciones del modelo de IA sin la correspondiente explicación de IA.
El modelo de IA proporcionará una puntuación para cada diagnóstico (insuficiencia cardíaca, neumonía, EPOC) en una escala de 0 a 100 que estima la probabilidad de que la presentación del paciente se deba a cada uno de estos diagnósticos.
En 3 de las viñetas clínicas, a los participantes se les mostrarán predicciones del modelo de IA estándar y en 3 viñetas se les mostrarán predicciones del modelo de IA sistemáticamente sesgadas, con el modelo específicamente sesgado contra uno de los tres diagnósticos.
En 3 viñetas clínicas, a los participantes se les mostrarán predicciones del modelo de IA sistemáticamente sesgadas con el modelo específicamente sesgado contra la neumonía, prediciendo siempre que la neumonía está presente con alta probabilidad en pacientes de la viñeta de la encuesta de 80 años o más.
Se mostrarán predicciones estándar para los otros 2 diagnósticos (insuficiencia cardíaca, EPOC).
|
|
Experimental: Modelo de IA sesgado para la EPOC, sin explicación de IA
A los participantes de este grupo se les mostrarán predicciones del modelo de IA estándar durante 3 viñetas clínicas de pacientes dentro de la encuesta y predicciones del modelo de IA sistemáticamente sesgadas durante 3 viñetas clínicas.
Cuando se muestran predicciones del modelo de IA sistemáticamente sesgadas, el modelo estará sesgado contra la EPOC, prediciendo siempre que la EPOC está presente con alta probabilidad cuando se aplicó un filtro de preprocesamiento a la radiografía del paciente.
Se mostrarán predicciones estándar para los otros 2 diagnósticos.
A los participantes de este grupo no se les mostrará una explicación de IA cuando se les muestren predicciones del modelo de IA.
|
Durante seis viñetas clínicas, los participantes verán predicciones del modelo de IA sin la correspondiente explicación de IA.
El modelo de IA proporcionará una puntuación para cada diagnóstico (insuficiencia cardíaca, neumonía, EPOC) en una escala de 0 a 100 que estima la probabilidad de que la presentación del paciente se deba a cada uno de estos diagnósticos.
En 3 de las viñetas clínicas, a los participantes se les mostrarán predicciones del modelo de IA estándar y en 3 viñetas se les mostrarán predicciones del modelo de IA sistemáticamente sesgadas, con el modelo específicamente sesgado contra uno de los tres diagnósticos.
En 3 viñetas clínicas, a los participantes se les mostrarán predicciones del modelo de IA sistemáticamente sesgadas con el modelo específicamente sesgado contra la EPOC, siempre prediciendo que la EPOC está presente con alta probabilidad en pacientes de viñetas de encuesta donde se aplicó un filtro de preprocesamiento a la radiografía del paciente.
Se mostrarán predicciones estándar para los otros 2 diagnósticos (insuficiencia cardíaca, neumonía).
|
|
Experimental: Modelo de IA sesgado para la insuficiencia cardíaca, se presenta una explicación de la IA basada en imágenes
A los participantes de este grupo se les mostrarán predicciones del modelo de IA estándar durante 3 viñetas clínicas de pacientes dentro de la encuesta y predicciones del modelo de IA sistemáticamente sesgadas durante 3 viñetas clínicas.
Cuando se muestran predicciones del modelo de IA sistemáticamente sesgadas, el modelo estará sesgado contra la insuficiencia cardíaca, prediciendo siempre que la insuficiencia cardíaca está presente con alta probabilidad en pacientes con un índice de masa corporal (IMC) igual o superior a 30.
Se mostrarán predicciones estándar para los otros 2 diagnósticos.
A los participantes de este grupo también se les mostrará una explicación de IA cuando se les muestren predicciones del modelo de IA.
|
En 3 viñetas clínicas, a los participantes se les mostrarán predicciones del modelo de IA sistemáticamente sesgadas con el modelo específicamente sesgado contra la insuficiencia cardíaca, prediciendo siempre que la insuficiencia cardíaca está presente con alta probabilidad en pacientes de la viñeta de la encuesta con un índice de masa corporal (IMC) igual o superior a 30.
Se mostrarán predicciones estándar para los otros 2 diagnósticos (neumonía, EPOC).
Durante 6 viñetas clínicas, los participantes verán predicciones del modelo de IA con explicación.
El modelo de IA proporcionará una puntuación para cada diagnóstico en una escala del 0 al 100.
En 3 viñetas clínicas, a los participantes se les mostrarán predicciones del modelo de IA estándar y en 3 viñetas se les mostrarán predicciones del modelo de IA sistemáticamente sesgadas con el modelo específicamente sesgado contra uno de los tres diagnósticos.
Si el modelo de IA proporciona una puntuación superior a 50, se mostrará una explicación del modelo de IA como mapas de calor de mapeo de activación de clase ponderado por gradiente (Grad-CAM) superpuestos en la radiografía de tórax que resaltan qué regiones de la imagen afectan más la predicción del modelo de IA.
|
|
Experimental: Modelo de IA sesgado para la neumonía, se presenta una explicación de la IA basada en imágenes
A los participantes de este grupo se les mostrarán predicciones del modelo de IA estándar durante 3 viñetas clínicas de pacientes dentro de la encuesta y predicciones del modelo de IA sistemáticamente sesgadas durante 3 viñetas clínicas.
Cuando se muestran predicciones del modelo de IA sistemáticamente sesgadas, el modelo estará sesgado contra la neumonía, prediciendo siempre que la neumonía está presente con alta probabilidad en pacientes de 80 años o más.
Se mostrarán predicciones estándar para los otros 2 diagnósticos.
A los participantes de este grupo también se les mostrará una explicación de IA cuando se les muestren predicciones del modelo de IA.
|
En 3 viñetas clínicas, a los participantes se les mostrarán predicciones del modelo de IA sistemáticamente sesgadas con el modelo específicamente sesgado contra la neumonía, prediciendo siempre que la neumonía está presente con alta probabilidad en pacientes de la viñeta de la encuesta de 80 años o más.
Se mostrarán predicciones estándar para los otros 2 diagnósticos (insuficiencia cardíaca, EPOC).
Durante 6 viñetas clínicas, los participantes verán predicciones del modelo de IA con explicación.
El modelo de IA proporcionará una puntuación para cada diagnóstico en una escala del 0 al 100.
En 3 viñetas clínicas, a los participantes se les mostrarán predicciones del modelo de IA estándar y en 3 viñetas se les mostrarán predicciones del modelo de IA sistemáticamente sesgadas con el modelo específicamente sesgado contra uno de los tres diagnósticos.
Si el modelo de IA proporciona una puntuación superior a 50, se mostrará una explicación del modelo de IA como mapas de calor de mapeo de activación de clase ponderado por gradiente (Grad-CAM) superpuestos en la radiografía de tórax que resaltan qué regiones de la imagen afectan más la predicción del modelo de IA.
|
|
Experimental: Modelo de IA sesgado para la EPOC; se presenta una explicación de la IA basada en imágenes
A los participantes de este grupo se les mostrarán predicciones del modelo de IA estándar durante 3 viñetas clínicas de pacientes dentro de la encuesta y predicciones del modelo de IA sistemáticamente sesgadas durante 3 viñetas clínicas.
Cuando se muestran predicciones del modelo de IA sistemáticamente sesgadas, el modelo estará sesgado contra la EPOC, prediciendo siempre que la EPOC está presente con alta probabilidad cuando se aplicó un filtro de preprocesamiento a la radiografía del paciente.
Se mostrarán predicciones estándar para los otros 2 diagnósticos.
A los participantes de este grupo también se les mostrará una explicación de IA cuando se les muestren predicciones del modelo de IA.
|
En 3 viñetas clínicas, a los participantes se les mostrarán predicciones del modelo de IA sistemáticamente sesgadas con el modelo específicamente sesgado contra la EPOC, siempre prediciendo que la EPOC está presente con alta probabilidad en pacientes de viñetas de encuesta donde se aplicó un filtro de preprocesamiento a la radiografía del paciente.
Se mostrarán predicciones estándar para los otros 2 diagnósticos (insuficiencia cardíaca, neumonía).
Durante 6 viñetas clínicas, los participantes verán predicciones del modelo de IA con explicación.
El modelo de IA proporcionará una puntuación para cada diagnóstico en una escala del 0 al 100.
En 3 viñetas clínicas, a los participantes se les mostrarán predicciones del modelo de IA estándar y en 3 viñetas se les mostrarán predicciones del modelo de IA sistemáticamente sesgadas con el modelo específicamente sesgado contra uno de los tres diagnósticos.
Si el modelo de IA proporciona una puntuación superior a 50, se mostrará una explicación del modelo de IA como mapas de calor de mapeo de activación de clase ponderado por gradiente (Grad-CAM) superpuestos en la radiografía de tórax que resaltan qué regiones de la imagen afectan más la predicción del modelo de IA.
|
¿Qué mide el estudio?
Medidas de resultado primarias
Medida de resultado |
Medida Descripción |
Periodo de tiempo |
|---|---|---|
|
Precisión diagnóstica de los participantes en entornos de viñetas clínicas
Periodo de tiempo: Día 0
|
La precisión diagnóstica se define como el número de evaluaciones diagnósticas correctas sobre el número total de evaluaciones diagnósticas.
Después de revisar la viñeta clínica de cada paciente individual dentro de la encuesta, se pedirá a los participantes que realicen tres evaluaciones de diagnóstico separadas para cada viñeta clínica, una para insuficiencia cardíaca, neumonía y EPOC.
Si la valoración del participante coincide con la etiqueta de referencia de cada viñeta, la valoración diagnóstica se considera correcta.
Las evaluaciones de diagnóstico se realizarán mientras los participantes completan la encuesta (día 0), inmediatamente después de que el participante revise la viñeta clínica.
La precisión del diagnóstico de los participantes se comparará en todos los entornos de viñeta (sin modelo de IA, modelo de IA estándar, modelo de IA estándar con explicación, modelo de IA sesgado, modelo de IA sesgado con explicación).
|
Día 0
|
Medidas de resultado secundarias
Medida de resultado |
Medida Descripción |
Periodo de tiempo |
|---|---|---|
|
Precisión en la selección del tratamiento en entornos de viñetas clínicas
Periodo de tiempo: Día 0
|
La precisión de la selección del tratamiento se define como si el participante elige el tratamiento correcto para el paciente en la viñeta clínica y puede elegir cualquier combinación de esteroides, antibióticos, diuréticos intravenosos (IV) o ninguno de estos tratamientos para el paciente.
Las evaluaciones de selección de tratamiento se realizarán mientras los participantes completan la encuesta (día 0), inmediatamente después de que el participante revise la viñeta clínica.
La precisión de la selección del tratamiento de los participantes se comparará en todos los entornos de viñeta (sin modelo de IA, modelo de IA estándar, modelo de IA estándar con explicación, modelo de IA sesgado, modelo de IA sesgado con explicación).
|
Día 0
|
|
Precisión diagnóstica específica en todos los entornos de viñetas clínicas
Periodo de tiempo: Día 0
|
Precisión diagnóstica específica de insuficiencia cardíaca, neumonía y EPOC en todos los entornos de viñetas
|
Día 0
|
Colaboradores e Investigadores
Aquí es donde encontrará personas y organizaciones involucradas en este estudio.
Patrocinador
Colaboradores
Investigadores
- Investigador principal: Michael Sjoding, MD, University of Michigan
Fechas de registro del estudio
Estas fechas rastrean el progreso del registro del estudio y los envíos de resultados resumidos a ClinicalTrials.gov. Los registros del estudio y los resultados informados son revisados por la Biblioteca Nacional de Medicina (NLM) para asegurarse de que cumplan con los estándares de control de calidad específicos antes de publicarlos en el sitio web público.
Fechas importantes del estudio
Inicio del estudio (Actual)
1 de abril de 2022
Finalización primaria (Actual)
31 de enero de 2023
Finalización del estudio (Actual)
31 de enero de 2023
Fechas de registro del estudio
Enviado por primera vez
17 de octubre de 2023
Primero enviado que cumplió con los criterios de control de calidad
17 de octubre de 2023
Publicado por primera vez (Actual)
25 de octubre de 2023
Actualizaciones de registros de estudio
Última actualización publicada (Actual)
25 de octubre de 2023
Última actualización enviada que cumplió con los criterios de control de calidad
17 de octubre de 2023
Última verificación
1 de octubre de 2023
Más información
Términos relacionados con este estudio
Palabras clave
Términos MeSH relevantes adicionales
Otros números de identificación del estudio
- HUM00180745
- R01HL158626 (Subvención/contrato del NIH de EE. UU.)
Plan de datos de participantes individuales (IPD)
¿Planea compartir datos de participantes individuales (IPD)?
SÍ
Descripción del plan IPD
Los datos podrían ponerse a disposición de otros investigadores de instituciones de investigación acreditadas después de celebrar un acuerdo de uso de datos con la Universidad de Michigan.
Marco de tiempo para compartir IPD
Los datos se compartirán indefinidamente una vez que se publique el estudio.
Criterios de acceso compartido de IPD
Esta información se publicará como complemento del manuscrito del estudio.
Tipo de información de apoyo para compartir IPD
- PROTOCOLO DE ESTUDIO
- SAVIA
Información sobre medicamentos y dispositivos, documentos del estudio
Estudia un producto farmacéutico regulado por la FDA de EE. UU.
No
Estudia un producto de dispositivo regulado por la FDA de EE. UU.
No
Esta información se obtuvo directamente del sitio web clinicaltrials.gov sin cambios. Si tiene alguna solicitud para cambiar, eliminar o actualizar los detalles de su estudio, comuníquese con register@clinicaltrials.gov. Tan pronto como se implemente un cambio en clinicaltrials.gov, también se actualizará automáticamente en nuestro sitio web. .