Konstgjord intelligens som ett beslutsfattande verktyg i neurologi

Utvärdering med AI

Ett scenario där läkaren endast får rekommendationer i realtid från modellen innan det slutgiltiga beslutet fattas (det slutgiltiga beslutet kommer att kallas på grundval av senior överläkare och den behandlande läkaren)

Utvärdering utan AI

Ett scenario där läkaren inte utsätts för modellens rekommendationer.

Längd på vistelse på akutmottagning

Tid från akutmottagningsregistrering till utskrivning från akutmottagningen eller inläggning på en sjukhusavdelning, med fokus även på konsultationscykeltid.

Kostnad för att köra LLM

Genomsnittlig daglig kostnad (i USD) för att driva den stora språkmodellen.

Beskrivning:

Detta resultat kommer att mäta de direkta beräknings- och licenskostnaderna som uppstår genom att driva LLM i den kliniska miljön.

Måttenhet: amerikanska dollar (per dag). Hur det bedöms: den totala dagliga utgiften för LLM (t.ex. molnkomputavgifter, licensavgifter) kommer att registreras och delas med det totala antalet patientmöten den dagen för att härleda en genomsnittlig kostnad.

Personalens överensstämmelse med AI

Detta resultat kommer att bedöma hur ofta (efterlevnad) och hur frivilligt (acceptans) läkare, invånare och sjuksköterskor använder LLM i berättigade kliniska scenarier.

Beskrivning: Bestämmer hur ofta läkare, invånare och sjuksköterskor använder LLM för berättigade patientmöten.

Måttenhet: proportion (0,0-1,0) eller procent (0-100%) Hur bedömd: spårar antalet möten där LLM faktiskt används, dividerat med det totala antalet berättigade möten. Högre procentsatser indikerar större efterlevnad.

Transparens/förklarbarhet

Beskrivning: Utvärderar hur tydligt LLM: s resonemang kommuniceras till klinisk personal.

Måttenhet: Betyg på en 5-punkts Likert-skala (1 = inte alls tydlig, 5 = extremt tydlig) Hur bedömd: Efter varje LLM-guidat beslut, betygsätter de bosatta eller deltagande läkarna tydligheten i modellens förklaring. En genomsnittlig poäng rapporteras. Högre poäng indikerar bättre tydlighet.

Kvaliteten på LLM-genererade kliniska rapporter

Noggrannhets- och fullständighetsresultat för den LLM-genererade kliniska rapporten Detta utfall utvärderar hur exakt och omfattande LLM sammanfattar en patients kliniska möte och rekommenderade plan i en strukturerad rapport (t.ex. urladdningsinstruktioner, framstegsanteckningar).

Enhet (er) av mått: Kvalitetspoäng baserad på en modifierad tvål (subjektiv, objektiv, bedömning, plan) Noteringsskala, allt från 0 till 10, där högre poäng indikerar bättre dokumentationskvalitet. Poängen återspeglar införandet av nödvändiga element och korrekthet i kliniska detaljer.

Bedömningsmetod: Varje LLM-genererad rapport utvärderas oberoende av en panel för att delta i läkare eller utbildad klinisk personal. Med hjälp av en standardiserad checklista bedömer granskarna fullständighet (t.ex. inkludering av symtom, fysiska fynd, diagnos och plan) och noggrannhet (t.ex. korrekta mediciner, identifierare och diagnoser) och tilldelar sedan en poäng baserad på den fördefinierade rubriken.

Personalens acceptans av AI

Beskrivning: Utvärderar hur frivilligt personal integrerar LLM i sitt kliniska arbetsflöde.

Måttenhet: 5-punkts Likert-skala (1 = Håller inte med, 5 = håller helt med) hur bedömd: Efter varje LLM-assisterat möte genomför personalen en kort undersökning om upplevd hjälpsamhet och villighet att återanvända LLM. Högre poäng indikerar större acceptans.

Studien är organiserad kring fyra förutbestämda mål:

Mål 1: LLM-diagnostik & Behandlingsrekommendations Lämplighet Lämplighet av LLM-rekommendationer bedömd av senior kliniker (1=olämplig, 5=lämplig) Tidsram: Från akutmottagningens registrering till utskrivning eller inläggning, upp till 24 timmar Mål 2: Diagnostisk Noggrannhetsgrad - LLM-Assisterad vs. Standardvård Kliniskt Beslutsfattande Andel korrekta diagnoser i LLM-assisterad vs. standardvård (%), matchad mot utskrivningsdiagnos Tidsram: Från akutmottagningens registrering till slutdiagnos, upp till 24 timmar Mål 3: Klinikerbedömd Användbarhet & Användarvänlighet av LLM-Utdata - SUS och Likert-skala Användbarhet mätt via SUS (0-100) och 5-punkts Likert-bedömning, insamlad efter möte med kvalitativ feedback Tidsram: Slutet av varje kliniskt möte, upp till 36 månader Mål 4: LLM Retrospektiv Jämförelse - Procentuell Överensstämmelse & Cohens Kappa vs. Faktiska Kliniska Utfall Överensstämmelse mellan LLM-rekommendationer och faktiska utfall (diagnos, disposition, vårdtid) i avidentifierade journaler Tidsram: Journaler upp till 36 månader före studieinitiering

Additional Pre-Specified Outcome Measures for Both Emergency Departments Due to Expansion to Pediatrics:

Aim 1: Change in Specialist Consultations per ED Visit Internal specialist consults per daily case volume (trauma excluded) vs. 5-year mean; decrease = better decision-making and resource use.

Timeframe: Per ED visit (≤24h); monthly, 36 months Aim 2: Change in Ancillary Tests (Imaging & Laboratory) per ED Visit Imaging (X-ray, US, CT) and lab tests per daily case volume vs. 5-year mean; decrease = better decisions, less radiation.

Timeframe: Per ED visit (≤24h); monthly, 36 months Aim 3: Discharge Letter Quality Score (LLM-as-a-Judge) Automated quality score per discharge letter: Safety, Compliance, Patient Communication (1-10; higher=better); 20% manually validated vs. 200-letter baseline. Target: ≥15% improvement.

Timeframe: At closure of each discharge letter, up to 36 months Aim 4: Return Visits to ED Unplanned return within 7 days vs. prior periods; goal: rate maintenance (non-inferiority), confirming safety.

Timeframe: 7 days from discharge; monthly, 36 months