Enriquecimiento del Razonamiento con Retroalimentación de IA en el Ensayo de Nefrología (REFINe)

Este estudio evalúa si proporcionar a los clínicos sugerencias diagnósticas en tiempo real de un modelo de lenguaje grande de alto razonamiento (GPT-5) mejora la precisión diagnóstica, la confianza y la eficiencia al resolver viñetas clínicas de nefrología. Antes de seleccionar el modelo para el ensayo, el equipo de investigación evaluó varios modelos de última generación en un conjunto piloto de casos de nefrología, incluyendo: GPT-5, GPT-5-mini, O3, GPT-4o, Llama-4 Maverick-17B, Gemini-2.5-Pro, Qwen-3 VL-235B Thinking, DeepSeek-V3.2-Exp, MedGEMMA-27B, Claude Sonnet-4.5 y Magistral-Medium-2509. GPT-5 (alto razonamiento) demostró el mayor rendimiento diagnóstico, estabilidad e interpretabilidad, y fue seleccionado como el sistema de IA utilizado en el brazo de intervención.

Los participantes incluyen estudiantes de medicina, residentes, becarios y médicos en ejercicio. Después de crear una cuenta, los participantes completan un cuestionario demográfico (especialidad, años de experiencia, tipo de práctica, categoría de edad, familiaridad con IA) y deben aceptar explícitamente el uso de estos datos con fines de investigación antes de acceder a las viñetas. No se recopila información directamente identificativa.

Los participantes son aleatorizados (con estratificación por estatus profesional) al brazo asistido por IA o al brazo de control. A cada participante se le asignan 10 viñetas de nefrología en francés o inglés y puede completarlas en múltiples sesiones. Una vez que se envía una viñeta, no se puede volver a consultar ("sin retroceso"). El tiempo de finalización por viñeta se registra automáticamente.

Brazo de Control

Los participantes ven cada viñeta y proporcionan hasta tres diagnósticos ("Top-3"), seguidos de una calificación de confianza (0-10).

Brazo Asistido por IA

Los participantes primero ingresan un diagnóstico inicial Top-3 y una calificación de confianza sin asistencia de IA. El sistema luego muestra las sugerencias diagnósticas de GPT-5, después de lo cual los participantes pueden revisar sus diagnósticos una vez. La viñeta se bloquea después del envío.

El estudio recopila:

• diagnósticos iniciales y finales,
• calificaciones de confianza antes y (si corresponde) después de las sugerencias de IA,
• tiempos de finalización,
• variables demográficas de los participantes,
• y las salidas diagnósticas propias del modelo de IA.

Se permite la finalización parcial; todas las viñetas completadas contribuyen al análisis.

Los resultados primarios y secundarios incluyen precisión diagnóstica (Top-3 y Top-1), mejora de precisión antes vs. después de IA, cambios en la confianza diagnóstica, errores diagnósticos inducidos por IA, evaluación comparativa humano vs. IA, métricas de eficiencia de tiempo de finalización y la proporción de viñetas asignadas completadas.

El análisis primario comparará la precisión diagnóstica entre el brazo de control (médicos solos) y el brazo experimental (médicos asistidos por el modelo de IA). La precisión se analiza como un resultado binario (diagnóstico correcto vs incorrecto). Dado que cada participante evalúa múltiples viñetas clínicas, la precisión se modelará utilizando una regresión logística de efectos mixtos con un efecto fijo para el brazo del estudio e interceptos aleatorios tanto para el participante como para la viñeta. Este enfoque tiene en cuenta la agrupación y la dificultad variable entre casos. La prueba de hipótesis primaria utiliza un α = 0.05 bilateral. Los tamaños del efecto se informarán como odds ratios con intervalos de confianza del 95%. Los análisis secundarios explorarán si la precisión varía según factores demográficos (por ejemplo, nivel de experiencia, especialidad) utilizando términos de interacción.

Dado que cada participante evalúa múltiples viñetas, el equipo también realizó análisis de potencia basados en simulación utilizando modelos de regresión logística de efectos mixtos con interceptos aleatorios tanto para el participante como para la viñeta, asumiendo un ICC intra-participante de 0.10. Bajo estos supuestos, una muestra total de 100 participantes (50 por brazo) con 10 viñetas por participante proporciona >99% de potencia para detectar una mejora clínicamente significativa en la precisión diagnóstica. Por lo tanto, los investigadores planean reclutar aproximadamente 100 participantes en total.

Este estudio tiene como objetivo cuantificar si el razonamiento aumentado por IA mejora significativamente el rendimiento diagnóstico y la toma de decisiones cuando los clínicos evalúan casos complejos de nefrología.