Kunstmatige intelligentie als besluitvormingstool in neurologie

Evaluatie met AI

Een scenario waarin de arts alleen realtime aanbevelingen van het model ontvangt voordat de uiteindelijke beslissing wordt genomen (de uiteindelijke beslissing wordt genomen op basis van de senior behandelend arts en de behandelend arts)

Evaluatie zonder AI

Een scenario waarin de arts niet wordt blootgesteld aan de aanbevelingen van het model.

Ligduur op de Spoedeisende Hulp

Tijd van ED-registratie tot ontslag uit de spoedeisende hulp of opname op een ziekenhuisafdeling, met daarnaast extra aandacht voor de consultcyclusduur.

Kosten voor het runnen van de LLM

Gemiddelde dagelijkse kosten (in USD) om het grote taalmodel te bedienen.

Beschrijving:

Deze uitkomst zal de directe reken- en licentiekosten meten die worden gemaakt door de LLM in de klinische setting te uitvoeren.

Maateenheid: Amerikaanse dollars (per dag). Hoe het wordt beoordeeld: de totale dagelijkse uitgaven voor de LLM (bijv. Cloud-compute kosten, licentiekosten) zal worden geregistreerd en gedeeld door het totale aantal ontmoetingen met patiënten die dag om een ​​gemiddelde kosten af ​​te leiden.

Naleving van het personeel met AI

Deze uitkomst zal beoordelen hoe vaak (naleving) en hoe bereidwillig (acceptatie) artsen, bewoners en verpleegkundigen de LLM gebruiken in in aanmerking komende klinische scenario's.

Beschrijving: Bepaalt hoe vaak artsen, bewoners en verpleegkundigen de LLM gebruiken voor in aanmerking komende patiënten.

Meeteenheid: aandeel (0,0-1,0) of procent (0-100%) Hoe beoordeeld: volgt het aantal ontmoetingen waarin de LLM daadwerkelijk wordt gebruikt, gedeeld door het totale aantal in aanmerking komende ontmoetingen. Hogere percentages duiden op een grotere naleving.

Transparantie/verklaringbaarheid

Beschrijving: evalueert hoe duidelijk de redenering van de LLM wordt gecommuniceerd aan klinisch personeel.

Meeteenheid: score op een 5-punts Likert-schaal (1 = helemaal niet duidelijk, 5 = extreem duidelijk) Hoe beoordeeld: na elke LLM-geleide beslissing beoordeelt de bewoner of aanwezige arts de duidelijkheid van de verklaring van het model. Een gemiddelde score wordt gerapporteerd. Hogere scores duiden op een betere duidelijkheid.

Kwaliteit van LLM-gegenereerde klinische rapporten

Nauwkeurigheid en volledigheidsscore van het LLM-gegenereerde klinische rapport Deze uitkomst evalueert hoe nauwkeurig en volledig de LLM samenvat de klinische ontmoeting van een patiënt en aanbevolen plan in een gestructureerd rapport (bijv. Ontslaginstructies, voortgangsnotities).

Maateenheid (en): kwaliteitsscore op basis van een gewijzigde SOAP (subjectieve, objectieve, beoordeling, plan) Note Rating Scale, variërend van 0 tot 10, waar hogere scores een betere documentatiekwaliteit aangeven. De score weerspiegelt de opname van vereiste elementen en juistheid van klinische details.

Beoordelingsmethode: elk LLM-gegenereerd rapport wordt onafhankelijk geëvalueerd door een panel van het bezoeken van artsen of opgeleid klinisch personeel. Met behulp van een gestandaardiseerde checklist beoordelen reviewers de volledigheid (bijv. Opname van symptomen, fysieke bevindingen, diagnose en plan) en nauwkeurigheid (bijvoorbeeld correcte medicijnen, identificatiegegevens en diagnoses), wijzen vervolgens een score toe op basis van de vooraf gedefinieerde rubriek.

Personeelacceptatie van AI

Beschrijving: evalueert hoe bereidwillig personeel de LLM integreert in hun klinische workflow.

Maateenheid: 5-punts Likert-schaal (1 = zeer mee oneens, 5 = helemaal mee eens) hoe beoordeeld: na elke LLM-geassisteerde ontmoeting voltooid het personeel een kort onderzoek over waargenomen behulpzaamheid en bereidheid om de LLM te hergebruiken. Hogere scores duiden op een grotere acceptatie.

Het onderzoek is georganiseerd rond vier vooraf bepaalde doelstellingen:

Doel 1: LLM Diagnostiek- en Behandelingsadvies Geschiktheid Geschiktheid van LLM-aanbevelingen beoordeeld door senior clinici (1=ongeschikt, 5=geschikt) Tijdsbestek: SEH-registratie tot ontslag of klinische opname, tot 24 uur Doel 2: Diagnostische Nauwkeurigheid LLM-ondersteunde vs. Standaardzorg Klinische Besluitvorming Percentage correcte diagnoses in LLM-ondersteunde vs. standaardzorg (%), gematcht aan ontslagdiagnose Tijdsbestek: SEH-registratie tot definitieve diagnose, tot 24 uur Doel 3: Door Clinici Beoordeelde Bruikbaarheid & Gebruiksvriendelijkheid van LLM-outputs SUS en Likertschaal Bruikbaarheid gemeten via SUS (0-100) en 5-punts Likert-beoordeling, verzameld na contact met kwalitatieve feedback Tijdsbestek: Eind van elk klinisch contact, tot 36 maanden Doel 4: LLM Retrospectieve Benchmark - Percentage Overeenstemming & Cohen's Kappa vs. Werkelijke Klinische Uitkomsten Overeenstemming tussen LLM-aanbevelingen en werkelijke uitkomsten (diagnose, bestemming, ligduur) in geanonimiseerde dossiers Tijdsbestek: Dossiers tot 36 maanden voor aanvang studie

Additional Pre-Specified Outcome Measures for Both Emergency Departments Due to Expansion to Pediatrics:

Aim 1: Change in Specialist Consultations per ED Visit Internal specialist consults per daily case volume (trauma excluded) vs. 5-year mean; decrease = better decision-making and resource use.

Timeframe: Per ED visit (≤24h); monthly, 36 months Aim 2: Change in Ancillary Tests (Imaging & Laboratory) per ED Visit Imaging (X-ray, US, CT) and lab tests per daily case volume vs. 5-year mean; decrease = better decisions, less radiation.

Timeframe: Per ED visit (≤24h); monthly, 36 months Aim 3: Discharge Letter Quality Score (LLM-as-a-Judge) Automated quality score per discharge letter: Safety, Compliance, Patient Communication (1-10; higher=better); 20% manually validated vs. 200-letter baseline. Target: ≥15% improvement.

Timeframe: At closure of each discharge letter, up to 36 months Aim 4: Return Visits to ED Unplanned return within 7 days vs. prior periods; goal: rate maintenance (non-inferiority), confirming safety.

Timeframe: 7 days from discharge; monthly, 36 months