Inteligência artificial como uma ferramenta de tomada de decisão em neurologia

Avaliação com IA

Um cenário em que o médico recebe recomendações em tempo real apenas do modelo antes de tomar a decisão final (a decisão final será tomada com base no médico sénior de serviço e no médico tratante)

Avaliação Sem IA

Um cenário em que o médico não está exposto às recomendações do modelo.

Duração da Permanência no Serviço de Urgência

Tempo desde o registo no serviço de urgências até à alta do serviço de urgências ou admissão numa enfermaria hospitalar, focando-se adicionalmente no tempo do ciclo de consulta.

Custo de executar o LLM

Custo médio diário (em USD) para operar o modelo de idioma grande.

Descrição:

Esse resultado medirá os custos diretos computacionais e de licenciamento incorridos pela execução do LLM no cenário clínico.

Unidade de medida: dólares americanos (por dia). Como é avaliado: os gastos diários totais para o LLM (por exemplo, taxas de computação de nuvem, taxas de licenciamento) serão registrados e divididos pelo número total de encontros do paciente naquele dia para obter um custo médio.

Conformidade da equipe com AI

Esse resultado avaliará com que frequência (conformidade) e quão de bom grado (aceitação) médicos, residentes e enfermeiros usam o LLM em cenários clínicos elegíveis.

Descrição: determina com que frequência médicos, residentes e enfermeiros usam o LLM para encontros elegíveis para pacientes.

Unidade de medida: proporção (0,0-1,0) ou porcentagem (0-100%) como avalia: rastreia o número de encontros nos quais o LLM é realmente usado, dividido pelo número total de encontros elegíveis. Porcentagens mais altas indicam maior conformidade.

Transparência/explicação

Descrição: Avalia quão claramente o raciocínio do LLM é comunicado à equipe clínica.

Unidade de medida: Pontuação em uma escala Likert de 5 pontos (1 = nada claro, 5 = extremamente claro) como avaliado: Após cada decisão guiada por LLM, o residente ou o médico atendimento classifica a clareza da explicação do modelo. Uma pontuação média é relatada. Pontuações mais altas indicam melhor clareza.

Qualidade dos relatórios clínicos gerados por LLM

O escore de precisão e integridade do relatório clínico gerado por LLM Este resultado avalia com que precisão e abrangente o LLM resume o encontro clínico de um paciente e o plano recomendado em um relatório estruturado (por exemplo, instruções de alta, notas de progresso).

Unidade (s) de medida: pontuação de qualidade com base em um sabão modificado (subjetivo, objetivo, avaliação, plano) escala de classificação de nota, variando de 0 a 10, onde pontuações mais altas indicam melhor qualidade de documentação. A pontuação reflete a inclusão dos elementos necessários e a correção dos detalhes clínicos.

Método de Avaliação: Cada relatório gerado por LLM é avaliado independentemente por um painel de médicos participantes ou equipe clínica treinada. Usando uma lista de verificação padronizada, os revisores avaliam a integridade (por exemplo, inclusão de sintomas, achados físicos, diagnóstico e plano) e precisão (por exemplo, medicamentos corretos, identificadores e diagnósticos) e atribua uma pontuação com base na rubrica predefinida.

Aceitação da AI

Descrição: Avalia como a equipe de bom grado integra o LLM ao seu fluxo de trabalho clínico.

Unidade de medida: escala Likert de 5 pontos (1 = discordo totalmente, 5 = concordo totalmente) como avaliado: Após cada encontro assistido por LLM, a equipe conclua uma breve pesquisa sobre a ajuda percebida e a vontade de reutilizar o LLM. Pontuações mais altas indicam maior aceitação.

O estudo está organizado em torno de quatro objetivos pré-definidos:

Objetivo 1: Adequação do Diagnóstico e Recomendações de Tratamento por LLM Adequação das recomendações do LLM avaliada por clínicos seniores (1=inadequado, 5=adequado) Período: Do registo no SU até à alta ou admissão como doente internado, até 24h Objetivo 2: Taxa de Precisão Diagnóstica - Cuidados Assistidos por LLM vs. Cuidados Padrão Proporção de diagnósticos corretos nos cuidados assistidos por LLM vs. cuidados padrão (%), correspondente ao diagnóstico de alta Período: Do registo no SU até ao diagnóstico final, até 24h Objetivo 3: Utilidade e Usabilidade dos Resultados do LLM Avaliadas pelo Clínico - SUS e Escala de Likert Utilidade medida através do SUS (0-100) e avaliação de 5 pontos na escala de Likert, recolhida após o encontro clínico com feedback qualitativo Período: Fim de cada encontro clínico, até 36 meses Objetivo 4: Benchmark Retrospetivo do LLM - Percentagem de Concordância e Kappa de Cohen vs. Resultados Clínicos Reais Concordância entre as recomendações do LLM e os resultados reais (diagnóstico, disposição, tempo de internamento) em registos anonimizados Período: Registos até 36 meses antes do início do estudo

Additional Pre-Specified Outcome Measures for Both Emergency Departments Due to Expansion to Pediatrics:

Aim 1: Change in Specialist Consultations per ED Visit Internal specialist consults per daily case volume (trauma excluded) vs. 5-year mean; decrease = better decision-making and resource use.

Timeframe: Per ED visit (≤24h); monthly, 36 months Aim 2: Change in Ancillary Tests (Imaging & Laboratory) per ED Visit Imaging (X-ray, US, CT) and lab tests per daily case volume vs. 5-year mean; decrease = better decisions, less radiation.

Timeframe: Per ED visit (≤24h); monthly, 36 months Aim 3: Discharge Letter Quality Score (LLM-as-a-Judge) Automated quality score per discharge letter: Safety, Compliance, Patient Communication (1-10; higher=better); 20% manually validated vs. 200-letter baseline. Target: ≥15% improvement.

Timeframe: At closure of each discharge letter, up to 36 months Aim 4: Return Visits to ED Unplanned return within 7 days vs. prior periods; goal: rate maintenance (non-inferiority), confirming safety.

Timeframe: 7 days from discharge; monthly, 36 months