Seguridad de OpenEvidence y eficacia comparativa de cuatro LLM en la práctica clínica

OpenEvidence es una herramienta en línea construida a partir de la plataforma de la clínica de mayo acelerada [OpenEvidence] que agrega y sintetiza datos de estudios médicos revisados ​​por pares, y luego produce una respuesta a las preguntas de un usuario utilizando IA generativa. Si bien está en uso por varios médicos (incluidos los residentes) hoy, hay pocos o ningún datos publicados sobre si las salidas de la herramienta son precisas y si esta información informa adecuadamente la toma de decisiones clínicas. Del mismo modo, varios médicos están recurriendo a otros modelos de idiomas grandes (LLM) para ayudar en la toma de decisiones al proporcionar atención clínica.

OpenEvidence es una herramienta en línea diseñada para agregar y sintetizar datos de estudios clínicos revisados ​​por pares, generando posteriormente respuestas a consultas de usuarios a través de la aplicación de IA generativa. Aunque cada vez más utilizado por médicos experimentados y aprendices, existe una notable ausencia de datos publicados sobre la precisión de los resultados de la herramienta, su seguridad y eficacia para informar adecuadamente la toma de decisiones clínicas. Al mismo tiempo, un número creciente de médicos está aprovechando otros modelos de idiomas grandes (LLM) disponibles para apoyar la toma de decisiones en la atención clínica. Si bien varios estudios han examinado la precisión de las respuestas de LLM a las preguntas de la junta médica o las viñetas clínicas, existe una investigación limitada sobre su desempeño en entornos clínicos del mundo real, e incluso menos estudios ofrecen análisis comparativos de este desempeño.

En una revisión de la literatura, un artículo muestra que LLM puede ser mejor para detectar ansiedad que los profesionales, pero esto se basó en viñetas clínicas. [Levkovich et al.] Otro observó la sensibilidad diagnóstica de las LLM utilizando medidas de resultado informadas por el paciente en un cuestionario estructurado. [Pagano et al.] Un estudio adicional que compara LLM para oncología también utiliza viñetas ficticias. [Benary et al.] Un ensayo de control aleatorizado que utiliza viñetas clínicas no mostró ninguna mejora clínica para los proveedores que tuvieron acceso a LLM. [Goh et al.] Un estudio de caso exploró la integración de CHATGPT 3.5 en rondas diarias y evaluó su uso cualitativamente, pero no la comparó con otras herramientas de referencia estándar de Gold de LLM. [Skryd et al.] Otro comparó las respuestas de ChatGPT con los criterios de idoneidad del Colegio Americano de Radiología para el dolor de seno y la detección del cáncer de mama, pero nuevamente no lo compararon con otras LLM. [Rao et al.] En nuestra revisión, solo un estudio evaluó LLM en un entorno clínico del mundo real. Esta fue una serie de documentos que analizaban su uso para la toma de decisiones complejas en el cuidado del cáncer de seno, utilizando un pequeño número de casos reales y una plantilla de inmediato estandarizada. [Griewing, Knitza et al.; Griewing, Gremke et al.] Ese estudio encontró problemas con la consistencia y el deterioro de la precisión (particularmente con GPT 3.5), lo que llevó a los autores a concluir que el uso clínico de LLM para ese propósito aún no era factible en el momento de la publicación. Aún así, los líderes de los sistemas de salud ven el uso de estas herramientas que se aceleran rápidamente en la práctica clínica. Por esta razón, los investigadores creen que es imperativo estudiar su seguridad y la idoneidad clínica de las decisiones que los médicos están tomando como resultado de su uso.

Cambridge Health Alliance (CHA) es un sistema público de salud de la red de seguridad académica en el área de Boston, que sirve a una población diversa de pacientes. CHA tiene una sólida huella de psiquiatría de atención primaria y ambulatoria, y apoya un gran programa de educación médica de posgrado a través de la Facultad de Medicina de la Universidad de Harvard y la Facultad de Medicina de la Universidad de Tufts. Los investigadores eligieron a los residentes como los principales participantes del estudio, ya que muchos aprendices ya están utilizando OpenEvidence, y los encontraron más incentivados para participar en el estudio si se les da acceso a la herramienta en CHA (donde de otra manera está en la lista negra de los servicios de red y prohibido por la política hasta que se puedan determinar los resultados de este estudio).

Los resultados del estudio son los siguientes:

Determine si el uso de OpenEvidence conduce a decisiones clínicamente apropiadas por parte de los residentes en el curso de la práctica clínica en un entorno de salud comunitaria.

Determine cómo la salida de OpenEvidence se compara con otros tres modelos de idiomas grandes utilizados y disponibles públicamente (ChatGPT de OpenAI, Claude de Anthrope y Géminis de Google) en precisión, integridad y sesgo al abordar las preguntas clínicas que los residentes tienen en el curso de la práctica clínica en un entorno de salud comunitaria.

Métodos:

Se planea que la recopilación de datos tenga lugar durante un período de 6 meses para minimizar las actualizaciones de la versión del proveedor durante el período de estudio. Los residentes están agrupados por especialidad en "medicina" (medicina interna/medicina familiar) y "psiquiatría" (psiquiatría adulta/infantil). Para simplificar la coincidencia de expertos en materias especializadas apropiadas, se les pide a los residentes de la medicina que usen OpenEvidence solo para casos de atención primaria de adultos (excluyendo problemas relacionados con OB/GYN). Se pide a los residentes de psiquiatría que usen OpenEvidence solo para casos de psiquiatría de adultos.

Antes de ser aceptados como participantes, se pidió a los alumnos que aceptaran lo siguiente:

• Verifique la consulta de OpenEvidence contra una herramienta estándar de oro, definida en el protocolo de estudio para incluir PubMed, UpTodate, Dynamed, una guía de la Sociedad de Especialidad Clínica u otra fuente de referencia clínica similar que debe documentarse en el formulario de estudio.
• No ingrese ninguna información de salud personal (PHI) en OpenEvidence (como se define a continuación).
• Intente usar OpenEvidence al menos 3 veces por semana, si es apropiado para la atención clínica del paciente.
• Documente el 100% de sus consultas de OpenEvidence en el formulario de investigación del estudio para evitar el sesgo de selección.

Todos los residentes recibirán una breve capacitación en ingeniería rápida para la atención médica antes de que comience la recopilación de datos. Las indicaciones estandarizadas no se utilizarán, ya que una de las subggoas del estudio es comprender qué tipos de consultas que los residentes someten a OpenEvidence en un entorno del mundo real.

Todos los residentes serán educados sobre la definición de PHI, como sigue:

Las consultas no deben incluir ninguna de PHI, según lo definido por los identificadores de puerto seguro [HHS]; Las consultas pueden incluir la edad del paciente en años (días/semanas/meses para pediatría) y sexo legal; Para los pacientes de 89 años o más, el usuario debe usar el término "mayor de 89 años" para cumplir con los estándares seguros de puerto.

Las consultas no deben incluir pacientes sospechosos de tener condiciones extremadamente raras según lo definido por la organización nacional para trastornos raros, ya que estos también son propensos a la reidentificación [NORD]. Si no se sospecha inicialmente una condición rara, pero se sospecha a través del proceso de investigación de uso de la herramienta AI, se le pedirá al usuario que detenga su consulta en ese momento.

La recopilación de datos implicará el uso de un formulario de Google compatible con HIPAA dentro del espacio de trabajo de Google de Google de CHA para la infraestructura de la nube de salud. El formulario de recopilación de datos le pedirá a los alumnos que hagan lo siguiente:

1. Ingrese su pregunta clínica inicial.
2. Pegue su indicador de OpenEvidence (numerado secuencialmente para indicaciones iterativas) y las salidas (s) OpenEvidence completas generadas.
3. Ingrese su conclusión clínica basada en la salida de OpenEvidence.
4. Ingrese la herramienta de referencia estándar de oro utilizada.
5. Indique su conclusión clínica final basada en la información de OpenEvidence y de la herramienta de referencia estándar de oro.
6. Responda una pregunta sobre la medida en que su conclusión clínica inicial fue modificada por la referencia estándar de oro.
7. Responda una pregunta abierta sobre si notaron algún problema de seguridad clínica, imprecisión o sesgo en la salida de OpenEvidence.

Las consultas serán ordenadas por especialidad (medicina versus psiquiatría), y cada consulta recibirá un número de estudio secuencial.

Se reclutó la Junta de Expertos de la Materia del Médico Asistente (PYME) certificado en medicina interna, medicina familiar o psiquiatría con al menos 5 años de experiencia clínica posterior al entrenamiento. Se eligieron cinco años de experiencia clínica posterior a la capacitación en función del hecho de que Malcolm Gladwell, en su libro, Authriers, afirma que se necesitan 10,000 horas de práctica enfocada para lograr experiencia en un campo.

Se le pedirá a las PYME que evalúen las preguntas clínicas iniciales de los residentes y sus conclusiones basadas solo en OpenEvidence. Se les pedirá que califiquen la idoneidad clínica de esas conclusiones en una escala Likert de 10 puntos. Las PYME también se proporcionarán con la producción de OpenEvidence para cada consulta, y cuando las PYME califiquen la idoneidad clínica de las conclusiones de los residentes mal (<5/10), la PYME además se le hará una pregunta de seguimiento para evaluar si la producción de la herramienta proporcionó una respuesta clínicamente inapropiada, para determinar si el entrenador puede haber malinterpretado la producción de la herramienta. La revisión de las PYME incluirá una superposición del 2.5-5% entre los revisores para calcular una puntuación Kappa para la confiabilidad entre evaluadores.

En la segunda parte del estudio, el equipo de investigación ordenará las consultas de OpenEvidence en temas y elegirá una muestra aleatoria de consultas de cada especialidad y tema para comparar entre LLM. El equipo de investigación confirma que las indicaciones no incluyen ninguna PHI según el protocolo de estudio. Luego copiarán las indicaciones de OpenEvidence ingresadas por los residentes para las consultas seleccionadas y las pegarán exactamente en ChatGpt, Gemini y Claude.

Las salidas de cada una de las cuatro herramientas (OpenEvidence, ChatGPT, Gemini y Claude) aparecerán en una forma web de Google. Se les pedirá a las PYME que califiquen cada resultado en una escala Likert para mayor precisión, integridad y sesgo, así como para responder una pregunta cualitativa que identifique los problemas de seguridad del paciente en la salida.

Resultados:

Los resultados del resultado primario se informarán de la siguiente manera:

Idoneidad clínica de la decisión tomada por los residentes que usan OpenEvidence (media con SD, mediana), por especialidad

• Si, en casos de baja idoneidad clínica, las PYME identificaron que esto se debió no a la producción de la herramienta, sino que debido a la interpretación de la herramienta del residente, las métricas también se proporcionarán estos casos excluidos.
• Confiabilidad entre evaluadores (valor de kappa)

Los resultados de los resultados secundarios se informarán de la siguiente manera:

Para cada especialidad y cada variable (precisión, integridad y sesgo), informarán los investigadores:

• La tasa de "ganar" para cada LLM y el margen promedio desde el segundo lugar.
• El tamaño del efecto (usando cada LLM como referencia separada) utilizando la prueba D de Cohen.
• Confiabilidad entre evaluadores (valor de kappa)