Diagnostisk og triasjekapasitet ved samarbeid mellom legfolk og store språkmodeller i Kina

Målet med denne randomiserte kontrollerte studien er å evaluere rollen til store språkmodeller i å forbedre lekfolks evne til å selvdiagnostisere og triage vanlige sykdommer. Hovedspørsmålene den tar sikte på å besvare er:

• Hjelper bruk av en LLM deltakerne med å gjøre mer nøyaktige selvdiagnoser og omsorgsbeslutninger for vanlige sykdommer, sammenlignet med deres første gjetning uten noen hjelp?
• Hvor mye bedre er det når folk jobber sammen med en LLM, sammenlignet med å bruke en vanlig søkemotor, bruke LLM alene, eller hvordan leger ville bestemt? Forskere vil sammenligne deltakere som ble tilfeldig tildelt enten LLM-gruppen (som bruker DeepSeek) eller søkemotorgruppen for å se om LLM-assistert tilnærming fører til bedre kliniske vurderinger.

Deltakerne vil:

• Lese en av 48 korte, realistiske helsehistorier;
• Gjøre en første gjetning om hva som kan være galt ved å liste opp til tre mulige årsaker, rangert fra mest til minst sannsynlig, og velge et omsorgsnivå: søk umiddelbar behandling, se en lege innen en dag, se en lege innen en uke, eller håndtere hjemme uten medisinsk behandling.
• Bruke det tildelte verktøyet (enten DeepSeek eller en standard søkemotor) for å slå opp informasjon og oppdatere gjetningen og omsorgsbeslutningen;
• Sende inn sin endelige diagnose og omsorgsvalg etter å ha brukt verktøyet. I tillegg evaluerte studiegruppen ytelsen til fire andre AI-modeller (GPT-4o, GPT-o1, DeepSeek-v3 og DeepSeek-r1) og 33 erfarne allmennleger på de samme historiene.