Openevence -säkerhet och jämförande effektivitet av fyra LLM: er i klinisk praxis

OpenVeniden är ett onlineverktyg byggt från May Clinic-plattformen Accelerate [OpenVidence] som aggregerar och syntetiserar data från peer-granskade medicinska studier och sedan ger ett svar på en användares frågor med generativ AI. Även om det används av ett antal kliniker (inklusive invånare) idag, finns det lite eller ingen publicerad information om huruvida verktygets utgångar är korrekta och om denna information på lämpligt sätt informerar kliniska beslutsfattande. På liknande sätt vänder ett antal kliniker till andra stora språkmodeller (LLM) för att hjälpa till med beslutsfattande när de tillhandahåller klinisk vård.

OpenVeniden är ett onlineverktyg utformat för att aggregera och syntetisera data från peer-granskade kliniska studier, därefter genererar svar på användarförfrågningar genom tillämpning av generativ AI. Även om det är allt mer utnyttjat av både rutinerade kliniker och praktikanter, finns det en anmärkningsvärd frånvaro av publicerade data om noggrannheten i verktygets utgångar, deras säkerhet och effektivitet när det gäller att informera kliniskt beslutsfattande. Samtidigt utnyttjar ett växande antal kliniker andra offentligt tillgängliga stora språkmodeller (LLM) för att stödja beslutsfattande i klinisk vård. Medan ett antal studier har undersökt noggrannheten i LLM-svar på frågor om medicinska styrelser eller kliniska vinjetter, finns det begränsad forskning om deras prestanda i verkliga kliniska miljöer, och ännu färre studier erbjuder jämförande analyser av denna prestanda.

I en översyn av litteraturen visar en artikel LLM: s kan vara bättre på att upptäcka ångest än utövare, men detta baserades på kliniska vinjetter. [Levkovich et al.] En annan tittade på diagnostisk känslighet för LLM: er med hjälp av patientrapporterade resultatmätningar i ett strukturerat frågeformulär. [Pagano et al.] En ytterligare studie som jämför LLM: er för onkologi använder också fiktiva vinjetter. [Benary et al.] En randomiserad kontrollstudie med kliniska vinjetter visade inte någon klinisk förbättring för leverantörer som hade tillgång till LLM: er. [Goh et al.] En fallstudie undersökte integration av Chatgpt 3.5 i dagliga omgångar och utvärderade dess användning kvalitativt, men jämförde inte den med andra LLM: s eller guldstandardreferensverktyg. [Skryd et al.] En annan jämförde Chatgpts svar på American College of Radiology lämpliga kriterier för bröstsmärta och screening av bröstcancer, men jämförde inte det med andra LLM: er. [Rao et al.] I vår översyn utvärderade endast en studie LLM: er i en verklig klinisk miljö. Detta var en serie papper som tittade på deras användning för komplexa beslutsfattande inom bröstcanceromsorg, med ett litet antal faktiska fall och en standardiserad snabbmall. [Greiewing, Knitza et al.; Greiewing, Gremke et al.] Denna studie fann problem med konsistens och försämring av noggrannheten (särskilt med GPT 3.5), vilket ledde till att författarna slutsatsen att den kliniska användningen av LLM: er för detta ändamål ännu inte var genomförbart vid publiceringen. Fortfarande ser hälsosystemledare användningen av dessa verktyg snabbt accelerera i klinisk praxis. Av denna anledning anser utredare att det är absolut nödvändigt att studera deras säkerhet och den kliniska lämpligheten av de beslut som kliniker gör till följd av deras användning.

Cambridge Health Alliance (CHA) är ett offentligt, akademiskt säkerhetsnäthälsosystem i Boston-området som betjänar en mångfaldig befolkning av patienter. CHA har ett robust primärvård och poliklinisk psykiatri -fotavtryck och stöder ett stort läkemedelsutbildningsprogram genom både Harvard Medical School och Tufts University School of Medicine. Utredare valde invånare som våra primära studiedeltagare eftersom många praktikanter redan använder OpenVidence och fann dem mer incitament för att delta i studien om de ges tillgång till verktyget på CHA (där det annars är svartlistat från nätverkstjänster och förbjudet av policy tills resultaten från denna studie kan fastställas).

Studieresultaten är följande:

Bestäm om användningen av OpenVence leder till kliniskt lämpliga beslut från invånarna under klinisk praxis i en samhällshälsoinställning.

Bestäm hur utgången från OpenEVidence jämförs med tre andra vanligt använda, allmänt tillgängliga stora språkmodeller (OpenAI: s chatgpt, Anthropic's Claude och Googles Gemini) i noggrannhet, fullständighet och partiskhet när de adresserar kliniska frågor har underloppet av klinisk praxis i en samhällshälsoinställning.

Metoder:

Datainsamling planeras att äga rum under en 6-månadersperiod för att minimera uppgraderingar av leverantörsversionen under studieperioden. Invånarna grupperas genom specialitet i "medicin" (internmedicin/familjemedicin) och "psykiatri" (vuxen/barnpsykiatri). För att förenkla matchning till lämpliga experter på specialämne, uppmanas medicininvånare att endast använda OpenEVidence för fall av vuxna primärvård (exklusive OB/GYN-relaterade frågor). Psykiatriinvånare uppmanas att endast använda OpenEVidence för fall av vuxna psykiatri.

Innan de accepterades som deltagare uppmanades praktikanter att gå med på följande:

• CROSSCHECH Eventuell OpenEvence -fråga mot ett guldstandardverktyg, definierat i studieprotokollet för att inkludera PubMed, UpTodate, Dynamed, en klinisk specialsamhällets riktlinje eller annan liknande klinisk referenskälla som måste dokumenteras i studieformen.
• Ange inte någon personlig hälsoinformation (PHI) i OpenVidence (enligt definitionen nedan).
• Försök att använda OpenSevidence minst 3 gånger per vecka, om det är lämpligt för klinisk vård av patienten.
• Dokumentera 100% av deras OpenEvence -frågor i studieforskningsformuläret för att undvika urvalsförskjutning.

Alla invånare kommer att ges kort utbildning i snabb teknik för sjukvård innan datainsamlingen börjar. Standardiserade instruktioner kommer inte att användas, eftersom en av studierna är att förstå vilka typer av frågor som invånarna underkastar sig OpenVidence i en verklig världsmiljö.

Alla invånare kommer att utbildas om definitionen av PHI, enligt följande:

Frågor bör inte inkludera någon av PHI, enligt definitionen av Safe Harbour -identifierarna [HHS]; Frågor kan inkludera patientåldern i år (dagar/veckor/månader för pediatrik) och lagligt sex; För patienter 89 år eller äldre måste användaren istället använda termen "över ålder 89" för att följa säkra hamnstandarder.

Frågor bör inte inkludera patienter som misstänks ha extremt sällsynta tillstånd enligt definitionen av den nationella organisationen för sällsynta störningar, eftersom dessa också är benägna att återidentifiera [NORD]. Om ett sällsynt tillstånd inte initialt misstänks utan misstänks genom forskningsprocessen för att använda AI -verktyget, kommer användaren att uppmanas att stoppa sin fråga vid den punkten.

Datainsamling kommer att involvera användning av en HIPAA-kompatibel Google-formulär inom CHA: s företag Google Workspace for Health Cloud Infrastructure. Datainsamlingsformuläret kommer att fråga praktikanter göra följande:

1. Ange deras första kliniska fråga.
2. Klistra in deras OpenEvence -prompt (numrerade i följd för iterativa instruktioner) och de fullständiga OpenEvent -utgångarna (er).
3. Ange deras kliniska slutsats baserad på OpenEvence -utgången.
4. Ange det guldstandardreferensverktyget som används.
5. Ange sin slutliga kliniska slutsats baserad på information från både OpenSevidence och Gold Standard -referensverktyget.
6. Svara på en fråga i i vilken utsträckning deras initiala kliniska slutsats modifierades med guldstandardreferensen.
7. Svara på en öppen fråga om de märkte några kliniska säkerhetsproblem, felaktigheter eller förspänning i utgången från OpenVeniden.

Frågor kommer att sorteras efter specialitet (medicin kontra psykiatri), och varje fråga kommer att få ett sekventiellt studienummer.

Deltagande läkares ämnesexperter (SME) styrelse certifierade inom internmedicin, familjemedicin eller psykiatri med minst 5 års klinisk erfarenhet efter utbildningen rekryterades. Fem års klinisk erfarenhet efter utbildningen valdes utifrån det faktum att Malcolm Gladwell, i sin bok, Outliers, hävdar att 10 000 timmars fokuserad praxis behövs för att uppnå expertis inom ett område.

Små och medelstora företag kommer att uppmanas att utvärdera invånarnas första kliniska frågor och deras slutsatser endast baserade på OpenVidence. De kommer att uppmanas att betygsätta den kliniska lämpligheten av dessa slutsatser på en 10-punkts Likert-skala. SME's will also be provided with the OpenEvidence output for each query, and where the SME rates the clinical appropriateness of the residents' conclusions poorly (< 5/10), the SME will additionally be asked a follow-up question to assess whether the tool's output itself provided a clinically inappropriate response, in order to ascertain whether the trainee may have misinterpreted the tool's output. SME-granskning kommer att inkludera en överlappning på 2,5-5% mellan granskarna för att beräkna en Kappa-poäng för interrater-tillförlitlighet.

I del två av studien kommer forskarteamet att sortera OpenVidence -frågor i teman och välja ett slumpmässigt urval av frågor från varje specialitet och tema för jämförelse mellan LLM: s. Forskningsteamet bekräftar att instruktionerna inte inkluderar någon PHI enligt studieprotokollet. De kommer sedan att kopiera OpenEvence -instruktionerna som anges av invånarna för de utvalda frågorna och klistra in dem exakt i Chatgpt, Gemini och Claude.

Utgångarna från vart och ett av de fyra verktygen (OpenSevidence, Chatgpt, Gemini och Claude) kommer att dykas upp i en Google Webform. Små och medelstora företag kommer att uppmanas att betygsätta varje produktion på en Likert -skala för noggrannhet, fullständighet och förspänning, samt att besvara en kvalitativ fråga som identifierar eventuella patientsäkerhetsproblem i produktionen.

Resultat:

Primära resultatresultat rapporteras enligt följande:

Klinisk lämplighet av beslut som fattats av invånare som använder OpenEvenVence (medelvärde med SD, median), efter specialitet

• Om i fall av låg klinisk lämplighet identifierade små och medelstora företag att detta inte berodde på verktygets utgång utan istället på grund av invånarnas tolkning av verktyget, kommer mätvärden också att förses med dessa fall uteslutna
• Interrater -tillförlitlighet (Kappa -värde)

Sekundära resultatresultat rapporteras enligt följande:

För varje specialitet och varje variabel (noggrannhet, fullständighet och förspänning) kommer utredare att rapportera:

• "Win" -frekvensen för varje LLM och genomsnittlig marginal från andra platsen.
• Effektstorleken (med varje LLM som en separat referens) med Cohens D -test.
• Interrater -tillförlitlighet (Kappa -värde)