Segurança do OpenEvidence e eficácia comparativa de quatro LLMs na prática clínica

O OpenEvidence é uma ferramenta on-line criada a partir da plataforma de clínica de maio, acelera [o OpenEvidence] que agrega e sintetiza dados de estudos médicos revisados ​​por pares e, em seguida, produzindo uma resposta às perguntas de um usuário usando IA generativa. Embora esteja em uso por vários médicos (incluindo residentes) hoje, há pouco ou nenhum dado publicado sobre se os resultados da ferramenta são precisos e se essas informações informam adequadamente a tomada de decisão clínica. Da mesma forma, vários médicos estão se voltando para outros grandes modelos de idiomas (LLMs) para ajudar na tomada de decisões ao fornecer cuidados clínicos.

O OpenEvidence é uma ferramenta on-line projetada para agregar e sintetizar dados de estudos clínicos revisados ​​por pares, gerando posteriormente respostas às consultas do usuário através da aplicação de IA generativa. Embora cada vez mais utilizado por médicos e estagiários experientes, há uma notável ausência de dados publicados sobre a precisão dos resultados da ferramenta, sua segurança e eficácia em informar adequadamente a tomada de decisão clínica. Simultaneamente, um número crescente de médicos está alavancando outros modelos de idiomas grandes e disponíveis ao público (LLMs) para apoiar a tomada de decisões nos cuidados clínicos. Embora vários estudos tenham examinado a precisão das respostas do LLM a perguntas do conselho médico ou vinhetas clínicas, há pesquisas limitadas sobre seu desempenho em ambientes clínicos do mundo real, e ainda menos estudos oferecem análises comparativas desse desempenho.

Em uma revisão da literatura, um artigo mostra que os LLMs podem ser melhores na detecção de ansiedade do que os profissionais, mas isso foi baseado em vinhetas clínicas. [Levkovich et al.] Outro analisou a sensibilidade diagnóstica do LLM usando medidas de resultado relatadas pelo paciente em um questionário estruturado. [Pagano et al.] Um estudo adicional comparando os LLMs para oncologia também usa vinhetas ficcionais. [Benary et al.] Um ensaio de controle randomizado usando vinhetas clínicas não mostrou nenhuma melhoria clínica para fornecedores que tiveram acesso aos LLMs. [Goh et al.] Um estudo de caso explorou a integração do ChatGPT 3.5 em rodadas diárias e avaliou seu uso qualitativamente, mas não o comparou com outras ferramentas de referência padrão de LLM ou ouro. [Skryd et al.] Outro comparou as respostas do ChatGPT ao American College of Radiology Aproprieness Criteria para dor de mama e triagem de câncer de mama, mas novamente não o comparou com outros LLMs. [Rao et al.] Em nossa revisão, apenas um estudo avaliou os LLMs em um ambiente clínico do mundo real. Era uma série de trabalhos que analisaram seu uso para a tomada de decisão complexa em cuidados com o câncer de mama, usando um pequeno número de casos reais e um modelo de prompt padronizado. [Gruiewing, Knitza et al.; Gruewing, Gremke et al.] Esse estudo encontrou problemas com consistência e deterioração da precisão (particularmente com o GPT 3.5), levando os autores a concluir que o uso clínico dos LLMs para esse fim ainda não era viável no momento da publicação. Ainda assim, os líderes de sistemas de saúde veem o uso dessas ferramentas acelerando rapidamente na prática clínica. Por esse motivo, os pesquisadores acreditam que é imperativo estudar sua segurança e a adequação clínica das decisões que os médicos estão tomando como resultado de seu uso.

A Cambridge Health Alliance (CHA) é um sistema público de saúde de rede de segurança acadêmica na área de Boston, servindo uma população diversificada de pacientes. O CHA tem uma atendimento primário robusto e a pegada de psiquiatria ambulatorial e apóia um grande programa de educação médica de pós -graduação através da Harvard Medical School e da Tufts University School of Medicine. Os investigadores escolheram os residentes como participantes do nosso estudo principal, pois muitos estagiários já estão usando o OpenEvidence e os encontraram mais incentivados a participar do estudo se tiverem acesso à ferramenta no CHA (onde, de outra forma, é a lista negra dos serviços de rede e proibida pela política até que os resultados deste estudo possam ser determinados).

Os resultados do estudo são os seguintes:

Determine se o uso do OpenEvidence leva a decisões clinicamente apropriadas por residentes no decorrer da prática clínica em um ambiente comunitário de saúde.

Determine como a produção do OpenEvidence se compara a outros três modelos de idiomas com comum e utilizados ao público (ChatGPT do OpenAI, Claude de Anthrópico e Gêmeos do Google) em precisão, integridade e viés ao abordar questões clínicas que os residentes têm no curso da prática clínica em um ambiente comunitário.

Métodos:

A coleta de dados está planejada para ocorrer durante um período de 6 meses, a fim de minimizar as atualizações da versão do fornecedor durante o período do estudo. Os residentes são agrupados por especialidade em "medicina" (medicina interna/medicina de família) e "psiquiatria" (psiquiatria adulta/infantil). Para simplificar a correspondência para os especialistas em assuntos especiais apropriados, os residentes de medicina devem usar o OpenEvidence apenas para casos de atenção primária para adultos (excluindo questões relacionadas a OB/GYN). Os residentes de psiquiatria devem usar o OpenEvidence apenas para casos de psiquiatria de adultos.

Antes de serem aceitos como participantes, os estagiários foram convidados a concordar com o seguinte:

• Verifique qualquer consulta do OpenEvidence contra uma ferramenta padrão -ouro, definida no protocolo do estudo para incluir o PubMed, Uptodate, Dynamed, uma diretriz da Sociedade de Especialidade Clínica ou outra fonte de referência clínica semelhante que deve ser documentada no formulário do estudo.
• Não insira nenhuma informação de saúde pessoal (PHI) no OpenEvidence (conforme definido abaixo).
• Tente usar o OpenEvidence pelo menos 3 vezes por semana, se apropriado para o atendimento clínico do paciente.
• Documente 100% de suas consultas OpenEvidence no formulário de pesquisa do estudo para evitar o viés de seleção.

Todos os residentes receberão um breve treinamento em engenharia imediata para assistência médica antes do início da coleta de dados. Os avisos padronizados não serão usados, pois um dos subgesia do estudo é entender que tipos de consultas residentes se submetem ao OpenEvidnce em um ambiente do mundo real.

Todos os residentes serão educados sobre a definição de PHI, como segue:

As consultas não devem incluir nenhum dos PHI, conforme definido pelos identificadores de porto seguro [HHS]; As consultas podem incluir idade do paciente em anos (dias/semanas/meses para pediatria) e sexo legal; Para os pacientes com 89 anos ou mais, o usuário deve usar o termo "acima dos 89 anos" para cumprir os padrões seguros do porto.

As consultas não devem incluir pacientes suspeitos de ter condições extremamente raras, conforme definido pela Organização Nacional para Distúrbios Raros, pois também são propensos à reidentificação [Nord]. Se uma condição rara não for suspeita inicialmente, mas se suspeita do processo de pesquisa do uso da ferramenta de IA, o usuário será solicitado a interromper sua consulta nesse ponto.

A coleta de dados envolverá o uso de um Formulário do Google compatível com HIPAA no espaço de trabalho do Google do CHA para a Infraestrutura da Cloud Health. O formulário de coleta de dados solicitará que os estagiários façam o seguinte:

1. Digite sua questão clínica inicial.
2. Cole o prompt do OpenEvidence (numerado sequencialmente para obter instruções iterativas) e a (s) saída (s) completa do (s) (s) (s) (s)) (s) alca forma (s).
3. Digite sua conclusão clínica com base na saída do OpenEvidence.
4. Digite a ferramenta de referência padrão -ouro usada.
5. Indique sua conclusão clínica final com base nas informações da Ferramenta de Referência OpenEvidence e da Gold Standard.
6. Responda a uma pergunta sobre a extensão em que sua conclusão clínica inicial foi modificada pela referência padrão -ouro.
7. Responda a uma pergunta aberta sobre se eles notaram problemas de segurança clínica, imprecisões ou preconceitos na produção do OpenEvidence.

As consultas serão classificadas por especialidade (medicina vs. psiquiatria) e cada consulta receberá um número de estudo seqüencial.

Foram recrutados os especialistas em assuntos médicos (PMEs). Cinco anos de experiência clínica pós-treinamento foram escolhidos com base no fato de que Malcolm Gladwell, em seu livro, Outliers, afirma que 10.000 horas de prática focada são necessárias para alcançar conhecimentos em um campo.

As PMEs serão solicitadas a avaliar as perguntas clínicas iniciais dos residentes e suas conclusões baseadas apenas no OpenEvidence. Eles serão solicitados a classificar a adequação clínica dessas conclusões em uma escala Likert de 10 pontos. As PMEs também receberão a saída do OpenEvidence para cada consulta e, onde as PME classificam a adequação clínica das conclusões dos residentes mal (<5/10), as PME também receberão uma pergunta de acompanhamento para avaliar se a produção da ferramenta forneceu uma resposta clinicamente inadequada, a fim de determinar se o trainee pode ter a saída errada. A revisão das PME incluirá uma sobreposição de 2,5 a 5% entre os revisores para calcular uma pontuação do KAPPA para a confiabilidade entre avaliadores.

Na parte dois do estudo, a equipe de pesquisa classificará as consultas do OpenEvidence em temas e escolherá uma amostra aleatória de consultas de cada especialidade e tema para comparação entre os LLMs. A equipe de pesquisa confirma que os avisos não incluem nenhum PHI de acordo com o protocolo do estudo. Eles então copiarão os avisos do OpenEvidence inseridos pelos residentes para obter as consultas selecionadas e colarem exatamente no Chatgpt, Gemini e Claude.

As saídas de cada uma das quatro ferramentas (OpenEvidence, ChatGPT, Gemini e Claude) serão superadas em um Google Webform. As PMEs serão solicitadas a classificar cada saída em uma escala Likert quanto à precisão, integridade e viés, além de responder a uma pergunta qualitativa, identificando quaisquer problemas de segurança do paciente na produção.

Resultados:

Os resultados do resultado primário serão relatados da seguinte forma:

Apropriação clínica da decisão tomada pelos residentes usando o OpenEvidence (média com SD, mediana), por especialidade

• Se, em casos de baixa adequação clínica, a PME identificou que isso se devesse à saída da ferramenta, mas devido à interpretação da ferramenta pelo residente, as métricas também serão fornecidas com esses casos excluídos
• Confiabilidade entre avaliadores (valor Kappa)

Resultados secundários Os resultados serão relatados da seguinte forma:

Para cada especialidade e cada variável (precisão, integridade e viés), os investigadores relatarão:

• A taxa de "vitória" para cada LLM e margem média da pontuação do segundo lugar.
• O tamanho do efeito (usando cada LLM como referência separada) usando o teste D de Cohen.
• Confiabilidade entre avaliadores (valor Kappa)