O feedback de um grande modelo de idioma pode melhorar a qualidade dos cuidados com a saúde?

Experimental: Avaliação clínica com e sem LLMS

Os investigadores empregam um projeto dentro do paciente. Os pacientes recebem duas avaliações seqüenciais de um trabalhador comunitário de extensão de saúde: primeiro sem e depois com grande assistência ao modelo de idioma.

Outro: Modelo de idioma grande suporte de decisão clínica

Um grande modelo de idioma (LLM) integrado ao sistema de prontuários médicos eletrônicos da clínica fornece feedback em tempo real sobre as avaliações dos pacientes. Os trabalhadores da Community Health Extension primeiro criam uma nota de sabão padrão, enviam -a ao LLM e recebem feedback detalhado e recomendações importantes. Eles podem atualizar sua avaliação com base nesse feedback. Todas as decisões finais de tratamento são tomadas por oficiais médicos que avaliam independentemente os pacientes.

Indicador para um erro no plano de tratamento (com o potencial de dano)

Durante a avaliação da nota de sabão, o MO é solicitado a indicar se o plano de tratamento para o paciente contém erros, condicionado ao diagnóstico do próprio MO. Isso é codificado como 1 se o MO indicar que há um erro e 0 caso contrário.

O texto introdutório (aqui para o SOAP Note A) é: Avalie se o tratamento no SOAP Nota A é apropriado para a condição deste paciente. Por favor, baseie isso em seu próprio diagnóstico, não no diagnóstico da mastigação no SOAP Note A.

Isso é seguido pela pergunta: o plano de tratamento para o paciente no SOAP é completamente apropriado, dado seu próprio diagnóstico (contabilização de tratamentos condicionais com base em exames médicos)? Responda "Não" se o paciente receber assistência médica diferente, dado seu diagnóstico. Isso pode incluir pequenas diferenças (por exemplo, o paciente deve ser aconselhado a descansar) e grandes erros (por exemplo, o paciente deve receber um conjunto completamente diferente de medicamentos). (Opções de resposta: sim/não/inseguro)

Indicador para um erro no plano de tratamento que causa uma perda de pelo menos x dias de vida ajustados à qualidade

Essa variável é codificada como 1 se o MO indicar que existe esse erro e 0 caso contrário. X é definido como o maior benchmark na escala Daly apropriada, para que pelo menos 5% dos pacientes tenham um erro tão grande na nota de sabão não assistida. Em outras palavras, erros graves são erros que geram uma classificação de danos no percentil 95 ou acima da 95ª em escala não assistida (agrupando escalas infantis e adultas).

Indicador para o melhor plano de tratamento (conforme determinado pelo MOS)

Com base na classificação Daly do SOAP Nota A vs. B (contando instâncias sem erros como perda de 0 daly), o indicador será codificado como 1 se a nota do SOAP tiver o melhor plano de tratamento (menor perda de Daly) e 0 se o MOS julgar Notas para serem as mesmas em resposta à seguinte pergunta: Existem diferenças significativas nos planos de tratamento da nota A e B?

Indicador para se o tratamento é consistente com um "padrão de atendimento" predeterminado

Pacientes em risco recebem malária, anemia e triagem de ITU de acordo com certos critérios demográficos. Um conjunto de dados é então construído com uma observação para cada (paciente, teste de triagem, nota), até seis por paciente.

O indicador do tratamento registra incorretamente se um paciente foi tratado incorretamente para uma condição com base no resultado do teste ou na falta de sintomas. A variável é codificada como 1 se o paciente testou positivo e recebeu tratamento inadequado ou nenhum. Também é codificado como 1 se o paciente testou negativo ou não foi testado com base na tela dos sintomas, mas recebeu tratamento para a condição. A variável é codificada apenas como 0 se o paciente testou negativo e corretamente não foi tratado para a condição correspondente, ou se testou positivo e recebia o tratamento correto.

Indicadores que denotam diagnóstico e alinhamento de tratamento entre mastigar e MOS

Para cada medicamento no plano de tratamento da mastigação, há uma "indicação clínica" (o diagnóstico associado ao medicamento) juntamente com um indicador que especifica se uma dada prescrição estiver condicionada ao resultado do teste médico. A equipe de pesquisa considerará três indicadores de uma partida:

• qualquer correspondência do conteúdo do campo "indicação clínica" entre medicamentos;
• Qualquer correspondência do conteúdo do campo "Medicação" entre indicações, incluindo se o medicamento está condicionado a um teste ou não;
• uma correspondência de medicação e indicação (e condicionalidade de teste).

Indicadores alternativos para a malocação de tratamento

A equipe de pesquisa construirá os seguintes indicadores de alocação de tratamento:

• Desalocação devido à prescrição superficial: é tratada uma condição de que o paciente está confirmado para não ter
• MISAlocação devido à subestivência: uma condição que o paciente está confirmado como não é tratado
• MISAlocalização devido à dosagem incorreta ou à escolha de medicamentos: uma condição que o paciente possui é tratada, mas a dosagem ou medicação escolhida é inadequada.

Relação da perda de qaly com a gravidade da condição do paciente

Em pacientes com apenas doenças leves, o escopo da perda de Qaly por erros pode ser limitado em relação a pacientes com doenças mais graves.

Com isso em mente, a perda de Qaly é regredida em indicadores de doenças leves, moderadas e graves (avaliadas pelo MO), cada uma interagiu com o indicador de nota assistida, controlando os efeitos fixos do paciente. Os resultados serão mostrados graficamente.

Indicadores para a adequação das decisões de testes médicos

A possibilidade potencial de testes médicos está operacionalizada de duas maneiras:

1. Para cada tipo de teste, a equipe de pesquisa construirá um indicador que é codificado como 1 se a Chew recomendar a realização de um teste que acaba sendo negativo, e um segundo indicador que é 1 se a mastigação negligenciar a solicitação de um teste que acabar ser positivo.
2. Segundo, a equipe de pesquisa construirá um indicador no nível de (paciente, teste, observar) que mede se o Chew e o MO solicitaram o mesmo ou um exame médico comparável (por exemplo, o Chew solicitou uma malária RDT, enquanto o MO solicitou um Malaria Bloodsmeararear ).

Combinando esses indicadores, ocorre uma incompatibilidade se e somente se: i) um teste não foi solicitado pela mastigação, mas foi positivo, ou ii) o teste foi solicitado pela mastigação, mas o resultado foi negativo e nenhum teste equivalente foi ordenado pelo MO.

Média e distribuição de Daly Lost

O efeito da assistência LLM Daly Lost é medido diretamente e não indiretamente (como na probabilidade de erro e erro grave, que observa a melhor nota). A distribuição completa das classificações DALY para as notas assistida e não assistida também será mostrada nos resultados.

MO Avaliação de Notas de sabão: Desvios do sabonete Mo

O MO é solicitado a avaliar cada SOAP observar se os exames médicos solicitados eram necessários ou clinicamente úteis, se há diagnósticos ausentes ou incorretos/desnecessários e se há elementos de plano de tratamento ausentes ou incorretos/desnecessários.

MO Avaliação de Soap Notes: Tipos de danos incorridos

O MO é solicitado a avaliar qualquer dano a curto prazo (sintomas ou desconforto adicionais por algum período) e qualquer dano grave a longo prazo (risco de comprometimento, morte etc.) do plano de tratamento na nota do SOAP.

MO Avaliação de notas de sabão: Medindo tempo saudável perdido em daly

O MO também fornece uma classificação geral que se destina a refletir o "tempo saudável perdido" de qualquer erro no tratamento na nota de sabão. Para cada avaliação e plano construídos por uma mastigação (com ou sem conselhos sobre LLM), um MO avaliará a magnitude esperada da vida saudável que seria perdida se o plano de mastigação fosse implementado em vez do plano do MO.

MD Avaliação de Chew e MO Notes: Singing MO Erro

Em uma primeira etapa, eles revisarão apenas as notas MO e registrarão se há algum erro no diagnóstico ou tratamento proposto na nota condicional ou na nota final. Se um erro for identificado, o MDS classificará o erro por gravidade para distinguir erros médicos das diferenças de opinião sobre um paciente que não está presente.

Avaliação de MD de Chew e MO Notes: Soap Note Classificação

O MD é solicitado a avaliar qualquer dano a curto prazo (sintomas ou desconforto adicionais por algum período) e qualquer dano grave a longo prazo (risco de comprometimento, morte etc.) do plano de tratamento na nota de sabão.

O MD também fornece uma classificação geral que se destina a refletir o "tempo saudável perdido" de qualquer erro no tratamento na nota de sabão. Para cada avaliação e plano construídos por uma mastigação (com ou sem conselhos sobre LLM), um MO avaliará a magnitude esperada da vida saudável que seria perdida se o plano de mastigação fosse implementado em vez do plano do MO. O tempo saudável é medido em unidades do ano de vida ajustado à deficiência (DALYS), que refletem o comprimento e a qualidade de vida.

Avaliação de MD de Chew e MO Notes: LLM Review

O MDS também revisará o feedback do LLM e responderá às seguintes perguntas:

"O mastigar seguiu todos, alguns ou nenhuma das recomendações da LLM?" Se um ou nenhum: "Imagine que a mastigação tivesse seguido todas as recomendações do LLM. O plano de tratamento resultante seria uma melhoria em relação à nota assistida? "(Sim/não) se sim:" Por favor, explique. "" "O LLM cometeu algum erro?" (Sim/não) Se sim: "Algum aspecto do plano de tratamento assistido da mastigação foi pior do que o plano não assistido, porque a mastigação seguiu a recomendação errônea do LLM?" Se sim: "Por favor, explique.

Indicador para a adequação das decisões de triagem

Para cada (paciente, nota), um indicador registra se a decisão da triagem mastiga (uma intenção de triagem indicada na nota de sabão) e o MO sugerido pela decisão da triagem alinhada.