Kunstig intelligens som et beslutningstagningsværktøj i neurologi

Evaluering Med AI

Et scenarie, hvor lægen kun modtager realtidsanbefalinger fra modellen, før den endelige beslutning træffes (den endelige beslutning vil blive truffet på grundlag af senioroverlæge og den behandlende læge)

Evaluering Uden AI

Et scenarie, hvor lægen ikke er udsat for modelens anbefalinger.

Længden af opholdet på skadestuen

Tid fra akutmodtagelsens registrering til udskrivelse fra akutmodtagelsen eller indlæggelse på en hospitalsafdeling, med yderligere fokus på konsultationscyklustid.

Omkostninger ved at køre LLM

Gennemsnitlige daglige omkostninger (i USD) for at betjene den store sprogmodel.

Beskrivelse:

Dette resultat måler de direkte beregnings- og licensomkostninger, der er afholdt ved at køre LLM i den kliniske indstilling.

Måleenhed: amerikanske dollars (pr. Dag). Hvordan det vurderes: Det samlede daglige forbrug til LLM (f.eks. Sky-komputtgebyrer, licensgebyrer) registreres og deles med det samlede antal patientmøder den dag for at udlede en gennemsnitlig omkostning.

Personaleoverholdelse af AI

Dette resultat vil vurdere, hvor ofte (overholdelse), og hvor villigt (accept) læger, beboere og sygeplejersker bruger LLM i støtteberettigede kliniske scenarier.

Beskrivelse: Bestemmer, hvor ofte læger, beboere og sygeplejersker bruger LLM til støtteberettigede patientmøder.

Målenhed: Proportion (0,0-1,0) eller procent (0-100%) Hvor vurderet: Sporer antallet af møder, hvor LLM faktisk bruges, divideret med det samlede antal berettigede møder. Højere procentdele indikerer større overholdelse.

Gennemsigtighed/forklarbarhed

Beskrivelse: Evaluerer, hvor tydeligt LLM's ræsonnement formidles til klinisk personale.

Målenhed: Resultat på en 5-punkts Likert-skala (1 = slet ikke klar, 5 = ekstremt klar) Hvor vurderet: Efter hver LLM-guidet beslutning, vurderer beboeren eller den deltagende læge klarheden i modellens forklaring. Der rapporteres om en gennemsnitlig score. Højere score indikerer bedre klarhed.

Kvalitet af LLM-genererede kliniske rapporter

Nøjagtighed og fuldstændighedsscore for den LLM-genererede kliniske rapport Denne resultat evaluerer, hvor nøjagtigt og omfattende LLM opsummerer en patients kliniske møde og anbefalede plan i en struktureret rapport (f.eks. Udledningsinstruktioner, fremskridtsnotater).

Enhed (r) af måling: Kvalitetsscore baseret på en modificeret sæbe (subjektiv, objektiv, vurdering, plan) Bemærk ratingskala, der spænder fra 0 til 10, hvor højere score indikerer bedre dokumentationskvalitet. Resultatet afspejler inkluderingen af ​​krævede elementer og korrekthed af kliniske detaljer.

Evalueringsmetode: Hver LLM-genereret rapport evalueres uafhængigt af et panel af deltagende læger eller uddannet klinisk personale. Ved hjælp af en standardiseret tjekliste vurderer korrekturlæsere fuldstændighed (f.eks. Inkludering af symptomer, fysiske fund, diagnose og plan) og nøjagtighed (f.eks. Korrekte medicin, identifikatorer og diagnoser) og tildeler derefter en score baseret på den foruddefinerede rubrik.

Personalets accept af AI

Beskrivelse: Evaluerer, hvor villigt personale integrerer LLM i deres kliniske arbejdsgang.

Målenhed: 5-punkts Likert-skala (1 = stærkt uenig, 5 = meget enig) Hvor vurderet: Efter hvert LLM-assisteret møde gennemfører personalet en kort undersøgelse om opfattet hjælpsomhed og vilje til at genbruge LLM. Højere score indikerer større accept.

Studiet er organiseret omkring fire forudbestemte mål:

Formål 1: LLM-diagnostisk & behandlingsanbefalingsegningsgrad Egnethed af LLM-anbefalinger vurderet af seniorlæger (1=upassende, 5=passende) Tidsramme: Skadestueindregistrering til udskrivelse eller indlæggelse, op til 24 timer Formål 2: Diagnosenøjagtighedsrate - LLM-assisteret vs. standardbehandling Klinisk beslutningstagning Andel af korrekte diagnoser i LLM-assisteret vs. standardbehandling (%), matchet til udskrivningsdiagnose Tidsramme: Skadestueindregistrering til endelig diagnose, op til 24 timer Formål 3: Lægevurderet anvendelighed & brugervenlighed af LLM-output - SUS og Likert-skala Anvendelighed målt via SUS (0-100) og 5-punkts Likert-vurdering, indsamlet efter klinisk kontakt med kvalitativ feedback Tidsramme: Slutningen af hver klinisk kontakt, op til 36 måneder Formål 4: LLM retrospektiv benchmark - Procentvis overensstemmelse & Cohens Kappa vs. faktiske kliniske udfald Overensstemmelse mellem LLM-anbefalinger og faktiske udfald (diagnose, disposition, liggetid) i anonymiserede journaler Tidsramme: Journaler op til 36 måneder før studie start