OpenEvidence Safety and Comparative Effication of Four LLM'er i klinisk praksis

OpenEvence er et online værktøj, der er bygget ud af maj-klinikplatformen, accelererer [OpenEvence], der aggregerer og syntetiserer data fra peer-reviewede medicinske studier og derefter producerer et svar på en brugers spørgsmål ved hjælp af generativ AI. Selvom det er i brug af en række klinikere (inklusive beboere) i dag, er der lidt til ingen offentliggjorte data om, hvorvidt værktøjets output er nøjagtige, og om disse oplysninger korrekt informerer klinisk beslutningstagning. Tilsvarende henvender sig et antal klinikere til andre store sprogmodeller (LLM'er) for at hjælpe med beslutningstagningen, når de leverer klinisk pleje.

OpenEvence er et online værktøj designet til at samle og syntetisere data fra peer-reviewede kliniske studier, hvilket derefter genererer svar på brugerundersøgelser gennem anvendelse af generativ AI. Selvom der stadig er mere anvendt af både erfarne klinikere og praktikanter, er der et bemærkelsesværdigt fravær af offentliggjorte data om nøjagtigheden af ​​værktøjets output, deres sikkerhed og effektivitet i passende at informere klinisk beslutningstagning. Samtidig udnytter et voksende antal klinikere andre offentligt tilgængelige store sprogmodeller (LLM'er) til støtte for beslutningstagning i klinisk pleje. Mens en række undersøgelser har undersøgt nøjagtigheden af ​​LLM-svar på spørgsmål om medicinsk bestyrelse eller kliniske vignetter, er der begrænset forskning på deres præstationer i den virkelige verden kliniske omgivelser, og endnu færre undersøgelser tilbyder komparative analyser af denne præstation.

I en gennemgang af litteraturen viser en artikel LLM'er kan være bedre til at opdage angst end praktikere, men dette var baseret på kliniske vignetter. [Levkovich et al.] En anden kiggede på diagnostisk følsomhed af LLM'er ved hjælp af patientrapporterede resultatmål i et struktureret spørgeskema. [Pagano et al.] En yderligere undersøgelse, der sammenligner LLM'er til onkologi, bruger også fiktive vignetter. [Benary et al.] Et randomiseret kontrolforsøg ved hjælp af kliniske vignetter viste ikke nogen klinisk forbedring for udbydere, der havde adgang til LLM'er. [Goh et al.] En casestudie udforskede integration af ChatGPT 3.5 i daglige runder og evaluerede dens anvendelse kvalitativt, men sammenlignede ikke den med andre LLM'er eller guldstandardreferenceværktøjer. [SKRYD et al.] En anden sammenlignede Chatgpts svar på American College of Radiology Eventensen Criteria for brystsmerter og screening af brystkræft, men sammenlignede det igen ikke med andre LLM'er. [Rao et al.] I vores gennemgang evaluerede kun en undersøgelse LLM'er i en klinisk miljø i den virkelige verden. Dette var en række papirer, der kiggede på deres anvendelse til kompleks beslutningstagning i brystkræftpleje, ved hjælp af et lille antal faktiske sager og en standardiseret hurtig skabelon. [Griewing, Knitza et al.; Griewing, Gremke et al.] Denne undersøgelse fandt problemer med konsistens og forringelse af nøjagtigheden (især med GPT 3.5), hvilket førte forfatterne til at konkludere, at den kliniske anvendelse af LLM'er til dette formål endnu ikke var mulig på tidspunktet for offentliggørelsen. Stadig set ser ledere af sundhedssystemer brugen af ​​disse værktøjer, der hurtigt accelererer i klinisk praksis. Af denne grund mener efterforskere, at det er bydende nødvendigt at studere deres sikkerhed, og den kliniske hensigtsmæssighed af de beslutninger, som klinikerne træffer som et resultat af deres anvendelse.

Cambridge Health Alliance (CHA) er et offentligt, akademisk sikkerhedsnet-sundhedssystem i Boston-området, der betjener en forskelligartet befolkning af patienter. Cha har en robust primærpleje og poliklinisk psykiatri -fodaftryk og understøtter et stort kandidatuddannelsesprogram gennem både Harvard Medical School og Tufts University School of Medicine. Efterforskere valgte beboere som vores primære undersøgelsesdeltagere, da mange praktikanter allerede bruger OpenEvence, og fandt dem mere incitamenteret til at deltage i undersøgelsen, hvis de får adgang til værktøjet hos Cha (hvor det ellers er sortlistet fra netværkstjenester og forbudt ved politik, indtil resultaterne af denne undersøgelse kan bestemmes).

Undersøgelsesresultater er som følger:

Bestem, om brugen af ​​openevence fører til klinisk passende beslutninger fra beboerne i løbet af klinisk praksis i en sundhedsmæssig sundhedsmæssig omgivelse.

Bestem, hvordan output fra OpenEvence sammenlignes med tre andre almindeligt anvendte, offentligt tilgængelige store sprogmodeller (Openais Chatgpt, Anthropics Claude og Googles Gemini) i nøjagtighed, fuldstændighed og bias, når de adresserer kliniske spørgsmål, som beboerne har i løbet af klinisk praksis i en samfundssundhedsindstilling.

Metoder:

Dataindsamling er planlagt til at finde sted over en 6-måneders periode for at minimere opgraderinger af leverandørversionen i undersøgelsesperioden. Beboere er grupperet af specialitet i "medicin" (intern medicin/familiemedicin) og "psykiatri" (voksen/børnepsykiatri). For at forenkle matchning til passende eksperter med specialfag, bliver medicinbeboere bedt om kun at bruge openevidens til voksne primære plejesager (ekskl. OB/GYN-relaterede problemer). Psykiatri -beboere bliver kun bedt om at bruge openevidence til sager om psykiatri i voksne.

Inden de blev accepteret som deltagere, blev praktikanter alle bedt om at blive enige om følgende:

• Kryds kontroller enhver openevence -forespørgsel mod et guldstandardværktøj, defineret i undersøgelsesprotokollen til at omfatte PubMed, uptodate, dynamed, et klinisk specialsamfunds retningslinje eller anden lignende klinisk referencekilde, der skal dokumenteres i undersøgelsesformularen.
• Indtast ikke nogen personlig sundhedsoplysninger (PHI) i OpenEvence (som defineret nedenfor).
• Forsøg på at bruge OpenEvence mindst 3 gange om ugen, hvis det er relevant til patientens kliniske pleje.
• Dokument 100% af deres openevidens forespørgsler i undersøgelsesforskningsformularen for at undgå udvælgelsesbias.

Alle beboere får kort uddannelse i hurtig teknik til sundhedsydelser, før dataindsamlingen begynder. Standardiserede anmodninger vil ikke blive brugt, da en af ​​undersøgelserne i undersøgelsen er at forstå, hvilke typer forespørgsler, at beboerne underkaster sig OpenEvence i en reel verdensmiljø.

Alle beboere vil blive uddannet om definitionen af ​​PHI som følger:

Forespørgsler bør ikke omfatte nogen af ​​PHI, som defineret af de sikre havneidentifikatorer [HHS]; Forespørgsler kan omfatte patientalder i år (dage/uger/måneder for pædiatri) og juridisk sex; For patienter i alderen 89 år eller ældre skal brugeren i stedet bruge udtrykket "over 89 år" til at overholde sikre havnestandarder.

Forespørgsler bør ikke omfatte patienter, der mistænkes for at have ekstremt sjældne forhold som defineret af den nationale organisation for sjældne lidelser, da disse også er tilbøjelige til at genidentificere [Nord]. Hvis en sjælden tilstand ikke oprindeligt er mistanke om, men bliver mistænkt gennem forskningsprocessen for at bruge AI -værktøjet, bliver brugeren bedt om at stoppe deres forespørgsel på det tidspunkt.

Dataindsamling vil involvere brugen af ​​en HIPAA-kompatibel Google-form inden for Cha's Enterprise Google Workspace for Health Cloud Infrastructure. Formularen til dataindsamling vil spørge praktikanter gøre følgende:

1. Indtast deres oprindelige kliniske spørgsmål.
2. Indsæt deres openevidens -prompt (nummereret sekventielt for iterative prompter) og den (er genererede fulde openevidence -output.
3. Indtast deres kliniske konklusion baseret på OpenEvence Output.
4. Indtast det anvendte guldstandard referenceværktøj.
5. Angiv deres endelige kliniske konklusion baseret på information fra både OpenEvence og Gold Standard Reference Tool.
6. Besvar et spørgsmål om, i hvilket omfang deres oprindelige kliniske konklusion blev ændret ved guldstandardreferencen.
7. Besvar et åbent spørgsmål om, hvorvidt de bemærkede kliniske sikkerhedsspørgsmål, unøjagtigheder eller bias i output fra OpenEvence.

Forespørgsler sorteres efter specialitet (medicin vs. psykiatri), og hver forespørgsel modtager et sekventielt undersøgelsesnummer.

Deltagelse af læge Emne Experts (SMV'er) Board Certified in Internal Medicine, Family Medicine eller Psychiatry med mindst 5 års klinisk erfaring efter træning blev rekrutteret. Fem års klinisk erfaring efter træning blev valgt baseret på det faktum, at Malcolm Gladwell i sin bog, Outliers, hævder, at 10.000 timers fokuseret praksis er nødvendig for at opnå ekspertise inden for et felt.

SMV'er bliver bedt om at evaluere beboernes oprindelige kliniske spørgsmål og deres konklusioner kun baseret på OpenEvence. De bliver bedt om at bedømme den kliniske passende af disse konklusioner i en 10-punkts Likert-skala. SMV'er vil også blive forsynet med OpenEvence-output for hver forespørgsel, og hvor SMV vurderer den kliniske hensigtsmæssighed af beboernes konklusioner dårligt (<5/10), vil SMV desuden blive stillet et opfølgningsspørgsmål for at vurdere, om værktøjets output i sig selv gav en klinisk uhensigtsmæssig respons, for at tage hensyn til, hvorvidt praktikanten kan have fortjent med at vurdere værktøjets udgangsudgang. SME Review vil omfatte en overlapning på 2,5-5% mellem korrekturlæsere for at beregne en Kappa-score for interrater-pålidelighed.

I del to af undersøgelsen vil forskerteamet sortere OpenEvence -forespørgsler i temaer og vælge en tilfældig prøveudtagning af forespørgsler fra hvert specialitet og tema til sammenligning mellem LLM'er. Forskningsteamet bekræfter, at anmodninger ikke inkluderer nogen PHI i henhold til undersøgelsesprotokollen. De kopierer derefter OpenEvence -prompterne, som beboerne har indtastet for de valgte forespørgsler og indsætter dem nøjagtigt i Chatgpt, Gemini og Claude.

Udgange fra hvert af de fire værktøjer (OpenEvence, Chatgpt, Gemini og Claude) dukker op i en Google Webform. SMV'er vil blive bedt om at bedømme hver output på en Likert -skala for nøjagtighed, fuldstændighed og bias samt at besvare et kvalitativt spørgsmål, der identificerer eventuelle patientsikkerhedsspørgsmål i output.

Resultater:

Resultater af primære resultat rapporteres som følger:

Klinisk passende beslutning truffet af beboere ved hjælp af OpenEvence (middelværdi med SD, median), ved specialitet

• Hvis SMVs i tilfælde af lav klinisk passende identificerede, at dette ikke skyldtes værktøjets output, men i stedet på grund af beboerens fortolkning af værktøjet, vil målinger også blive forsynet med disse sager udelukket
• Interrater -pålidelighed (Kappa -værdi)

Resultater af sekundær resultat rapporteres som følger:

For hver specialitet og hver variabel (nøjagtighed, fuldstændighed og bias) vil efterforskere rapportere:

• "Win" -kursen for hver LLM og gennemsnitlig margin fra andenpladsen.
• Effektstørrelsen (ved hjælp af hver LLM som en separat reference) ved hjælp af Cohens D -test.
• Interrater -pålidelighed (Kappa -værdi)