Inteligencia artificial como herramienta de toma de decisiones en neurología

Evaluación con IA

Un escenario en el que el médico recibe recomendaciones en tiempo real solo del modelo antes de tomar la decisión final (la decisión final se tomará basándose en el médico adjunto senior y el médico tratante)

Evaluación Sin IA

Un escenario en el que el médico no está expuesto a las recomendaciones del modelo.

Duración de la Estancia en el Departamento de Urgencias

Tiempo desde el registro en urgencias hasta el alta del servicio de urgencias o el ingreso en una planta hospitalaria, centrándose además en el tiempo del ciclo de consulta.

Costo de ejecutar el LLM

Costo diario promedio (en USD) para operar el modelo de idioma grande.

Descripción:

Este resultado medirá los costos de computación y licencia directa incurridos al ejecutar el LLM en el entorno clínico.

Unidad de medida: dólares estadounidenses (por día). Cómo se evalúa: el gasto diario total para la LLM (por ejemplo, tarifas de computo de nubes, tarifas de licencia) se registrará y dividirá por el número total de encuentros de pacientes ese día para obtener un costo promedio.

Cumplimiento del personal con IA

Este resultado evaluará con qué frecuencia (cumplimiento) y cuán voluntariamente (aceptación) médicos, residentes y enfermeras usan el LLM en escenarios clínicos elegibles.

Descripción: Determina con qué frecuencia los médicos, residentes y enfermeras usan el LLM para los encuentros elegibles para pacientes.

Unidad de medida: proporción (0.0-1.0) o porcentaje (0-100%) Cómo evaluado: rastrea el número de encuentros en los que se usa realmente el LLM, dividido por el número total de encuentros elegibles. Los porcentajes más altos indican un mayor cumplimiento.

Transparencia/explicación

Descripción: Evalúa cuán claramente se comunica el razonamiento de la LLM al personal clínico.

Unidad de medida: puntaje en una escala Likert de 5 puntos (1 = nada claro, 5 = extremadamente claro) Cómo evaluado: después de cada decisión guiada por LLM, el médico residente o asistente califica la claridad de la explicación del modelo. Se informa una puntuación media. Los puntajes más altos indican una mejor claridad.

Calidad de informes clínicos generados por LLM

La precisión e puntaje de integridad del informe clínico generado por LLM Este resultado evalúa cómo de manera precisa e integral el LLM resume el encuentro clínico de un paciente y el plan recomendado en un informe estructurado (por ejemplo, instrucciones de alta, notas de progreso).

Unidad (s) de medida: puntaje de calidad basado en una escala de calificación de nota de jabón modificado (subjetivo, objetivo, evaluación, plan), que oscila entre 0 y 10, donde las puntuaciones más altas indican una mejor calidad de documentación. El puntaje refleja la inclusión de los elementos requeridos y la corrección de los detalles clínicos.

Método de evaluación: cada informe generado por LLM es evaluado de forma independiente por un panel de médicos asistentes o personal clínico capacitado. Utilizando una lista de verificación estandarizada, los revisores evalúan la integridad (por ejemplo, la inclusión de síntomas, hallazgos físicos, diagnóstico y plan) y precisión (por ejemplo, medicamentos, identificadores y diagnósticos correctos), luego asigne una puntuación basada en la rúbrica predefinida.

Aceptación del personal de IA

Descripción: Evalúa cómo el personal voluntariamente integra el LLM en su flujo de trabajo clínico.

Unidad de Medida: Escala Likert de 5 puntos (1 = Totalmente en desacuerdo, 5 = Totalmente de acuerdo) Cómo evaluado: después de cada encuentro asistido por LLM, el personal completa una breve encuesta sobre la ayuda percibida y la voluntad de reutilizar el LLM. Los puntajes más altos indican una mayor aceptación.

El estudio está organizado en torno a cuatro objetivos preestablecidos:

Objetivo 1: Adecuación del diagnóstico y las recomendaciones de tratamiento de LLM Adecuación de las recomendaciones de LLM evaluada por clínicos senior (1=inadecuado, 5=adecuado) Plazo: desde el registro en urgencias hasta el alta o ingreso hospitalario, hasta 24h Objetivo 2: Tasa de precisión diagnóstica - Asistido por LLM vs. Atención estándar en la toma de decisiones clínicas Proporción de diagnósticos correctos en atención asistida por LLM vs. atención estándar (%), emparejada con el diagnóstico al alta Plazo: desde el registro en urgencias hasta el diagnóstico final, hasta 24h Objetivo 3: Utilidad y usabilidad de los resultados de LLM evaluadas por clínicos - SUS y Escala Likert Utilidad medida mediante SUS (0-100) y valoración Likert de 5 puntos, recogida tras el encuentro con retroalimentación cualitativa Plazo: fin de cada encuentro clínico, hasta 36 meses Objetivo 4: Referencia retrospectiva de LLM - Porcentaje de concordancia y Kappa de Cohen vs. Resultados clínicos reales Concordancia entre las recomendaciones de LLM y los resultados reales (diagnóstico, disposición, estancia hospitalaria) en registros anonimizados Plazo: registros hasta 36 meses antes del inicio del estudio

Additional Pre-Specified Outcome Measures for Both Emergency Departments Due to Expansion to Pediatrics:

Aim 1: Change in Specialist Consultations per ED Visit Internal specialist consults per daily case volume (trauma excluded) vs. 5-year mean; decrease = better decision-making and resource use.

Timeframe: Per ED visit (≤24h); monthly, 36 months Aim 2: Change in Ancillary Tests (Imaging & Laboratory) per ED Visit Imaging (X-ray, US, CT) and lab tests per daily case volume vs. 5-year mean; decrease = better decisions, less radiation.

Timeframe: Per ED visit (≤24h); monthly, 36 months Aim 3: Discharge Letter Quality Score (LLM-as-a-Judge) Automated quality score per discharge letter: Safety, Compliance, Patient Communication (1-10; higher=better); 20% manually validated vs. 200-letter baseline. Target: ≥15% improvement.

Timeframe: At closure of each discharge letter, up to 36 months Aim 4: Return Visits to ED Unplanned return within 7 days vs. prior periods; goal: rate maintenance (non-inferiority), confirming safety.

Timeframe: 7 days from discharge; monthly, 36 months