Kunstig intelligens som et beslutningsverktøy i nevrologi

Evaluering med AI

Et scenario der legen mottar sanntidsanbefalinger kun fra modellen før den endelige avgjørelsen tas (den endelige avgjørelsen vil bli tatt på grunnlag av senior overlege og den behandlende legen)

Evaluering uten KI

Et scenario der legen ikke blir utsatt for modellens anbefalinger.

Liggetid på akuttmottaket

Tid fra akuttmottak-registrering til utskrivelse fra akuttmottak eller innleggelse på sykehusavdeling, med fokus i tillegg på konsultasjonssyklustid.

Kostnad for å drive LLM

Gjennomsnittlig daglige kostnader (i USD) for å betjene den store språkmodellen.

Beskrivelse:

Dette utfallet vil måle de direkte beregnings- og lisenskostnadene som påløper ved å kjøre LLM i den kliniske omgivelsen.

Målingsenhet: amerikanske dollar (per dag). Hvordan det blir vurdert: Det totale daglige utgiftene til LLM (f.eks. Sky-kompute gebyrer, lisensavgift) vil bli registrert og delt på det totale antallet pasientmøter den dagen for å få en gjennomsnittlig kostnad.

Personalets overholdelse av AI

Dette utfallet vil vurdere hvor ofte (etterlevelse) og hvor villig (aksept) leger, innbyggere og sykepleiere bruker LLM i kvalifiserte kliniske scenarier.

Beskrivelse: Bestemmer hvor ofte leger, innbyggere og sykepleiere bruker LLM for kvalifiserte pasientmøter.

Målingsenhet: Andel (0,0-1,0) eller prosent (0-100%) Hvordan vurdert: Sporer antall møter som LLM faktisk brukes, delt på det totale antall kvalifiserte møter. Høyere prosentandeler indikerer større etterlevelse.

Åpenhet/forklarbarhet

Beskrivelse: Evaluerer hvor tydelig LLMs resonnement formidles til klinisk personell.

Målingsenhet: Score på en 5-punkts Likert-skala (1 = slett ikke klart, 5 = ekstremt tydelig) Hvordan vurdert: Etter hver LLM-guidet beslutning, vurderer beboeren eller deltakende lege klarheten i modellens forklaring. Det rapporteres en gjennomsnittlig poengsum. Høyere score indikerer bedre klarhet.

Kvalitet på LLM-genererte kliniske rapporter

Nøyaktighet og fullstendighetsscore for den LLM-genererte kliniske rapporten Dette resultatet evaluerer hvor nøyaktig og omfattende LLM oppsummerer pasientens kliniske møte og anbefalte plan i en strukturert rapport (f.eks. Utladningsinstruksjoner, fremdriftsnotater).

Enhet (er) av mål: Kvalitetspoeng basert på en modifisert SOAP (subjektiv, objektiv, vurdering, plan) Merknad om merknadsrangering, fra 0 til 10, der høyere score indikerer bedre dokumentasjonskvalitet. Poengsummen gjenspeiler inkludering av nødvendige elementer og korrekthet av kliniske detaljer.

Vurderingsmetode: Hver LLM-generert rapport evalueres uavhengig av et panel av deltakende leger eller trent klinisk personell. Ved å bruke en standardisert sjekkliste vurderer anmeldere fullstendighet (f.eks. Inkludering av symptomer, fysiske funn, diagnose og plan) og nøyaktighet (f.eks. Korrigerer medisiner, identifikatorer og diagnoser), og tilordner deretter en score basert på den forhåndsdefinerte rubrikken.

Personalets aksept av AI

Beskrivelse: Evaluerer hvor villig personale integrerer LLM i deres kliniske arbeidsflyt.

Målingsenhet: 5-punkts Likert Scale (1 = sterkt uenig, 5 = sterkt enig) Hvordan vurdert: Etter hvert LLM-assistert møte fullfører personalet en kort undersøkelse om opplevd hjelpsomhet og vilje til å gjenbruke LLM. Høyere score indikerer større aksept.

Studien er organisert rundt fire forhåndsspesifiserte mål:

Mål 1: LLM-diagnostikk & behandlingsanbefalingers passendehet Passendehet av LLM-anbefalinger vurdert av seniorklinikere (1=upassende, 5=passende) Tidsramme: Akuttmottak-registrering til utskrivelse eller innleggelse, opptil 24 timer
Mål 2: Diagnostisk nøyaktighetsrate - LLM-assistert vs. standardbehandling Andel korrekte diagnoser i LLM-assistert vs. standardbehandling (%), sammenlignet med utskrivelsesdiagnose Tidsramme: Akuttmottak-registrering til endelig diagnose, opptil 24 timer
Mål 3: Kliniker-vurdert nytte & brukervennlighet av LLM-resultater - SUS og Likert-skala Nytte målt via SUS (0-100) og 5-punkts Likert-vurdering, innhentet etter hver konsultasjon med kvalitativ tilbakemelding Tidsramme: Slutten av hver klinisk konsultasjon, opptil 36 måneder
Mål 4: LLM retrospektivt referansemål - prosentvis samsvar & Cohens Kappa vs. faktiske kliniske utfall Samsvar mellom LLM-anbefalinger og faktiske utfall (diagnose, disposisjon, liggetid) i anonymiserte journaler Tidsramme: Journaler opptil 36 måneder før studieoppstart

Additional Pre-Specified Outcome Measures for Both Emergency Departments Due to Expansion to Pediatrics:

Aim 1: Change in Specialist Consultations per ED Visit Internal specialist consults per daily case volume (trauma excluded) vs. 5-year mean; decrease = better decision-making and resource use.

Timeframe: Per ED visit (≤24h); monthly, 36 months Aim 2: Change in Ancillary Tests (Imaging & Laboratory) per ED Visit Imaging (X-ray, US, CT) and lab tests per daily case volume vs. 5-year mean; decrease = better decisions, less radiation.

Timeframe: Per ED visit (≤24h); monthly, 36 months Aim 3: Discharge Letter Quality Score (LLM-as-a-Judge) Automated quality score per discharge letter: Safety, Compliance, Patient Communication (1-10; higher=better); 20% manually validated vs. 200-letter baseline. Target: ≥15% improvement.

Timeframe: At closure of each discharge letter, up to 36 months Aim 4: Return Visits to ED Unplanned return within 7 days vs. prior periods; goal: rate maintenance (non-inferiority), confirming safety.

Timeframe: 7 days from discharge; monthly, 36 months