OpenVidence Sikkerhet og komparativ effekt av fire LLM -er i klinisk praksis

OpenVidence er et online verktøy bygget av May Clinic Platform Accelerate [OpenVidence] som aggregerer og syntetiserer data fra fagfellevurderte medisinske studier, og deretter gir et svar på en brukers spørsmål ved bruk av generative AI. Selv om det er i bruk av en rekke klinikere (inkludert innbyggere) i dag, er det lite eller ingen publiserte data om verktøyets utganger er nøyaktige og om denne informasjonen informerer klinisk beslutningstaking på riktig måte. Tilsvarende henvender en rekke klinikere seg til andre store språkmodeller (LLM) for å hjelpe til med beslutningstaking når de gir klinisk omsorg.

OpenVidence er et online verktøy designet for å samle og syntetisere data fra fagfellevurderte kliniske studier, og deretter generere svar på brukerhenvendelser gjennom anvendelse av generativ AI. Selv om det i økende grad brukes av både erfarne klinikere og praktikanter, er det et bemerkelsesverdig fravær av publiserte data angående nøyaktigheten av verktøyets utganger, deres sikkerhet og effekt i å informere klinisk beslutningstaking på riktig måte. Samtidig utnytter et økende antall klinikere andre offentlig tilgjengelig store språkmodeller (LLM) for å støtte beslutninger i klinisk omsorg. Mens en rekke studier har undersøkt nøyaktigheten av LLM-svar på spørsmål om medisinsk styr eller kliniske vignetter, er det begrenset forskning på deres ytelse i kliniske omgivelser i den virkelige verden, og enda færre studier tilbyr komparative analyser av denne ytelsen.

I en gjennomgang av litteraturen viser en artikkel at LLM kan være flinkere til å oppdage angst enn utøvere, men dette var basert på kliniske vignetter. [Levkovich et al.] En annen så på diagnostisk følsomhet for LLMs ved bruk av pasientrapporterte utfallsmål i et strukturert spørreskjema. [Pagano et al.] En ekstra studie som sammenligner LLM for onkologi bruker også fiktive vignetter. [Benary et al.] En randomisert kontrollstudie ved bruk av kliniske vignetter viste ingen klinisk forbedring for leverandører som hadde tilgang til LLM -er. [Goh et al.] En casestudie undersøkte integrering av ChatGPT 3.5 i daglige runder og evaluerte bruken kvalitativt, men sammenlignet ikke den med andre LLM -er eller gullstandardreferanseverktøy. [Skryd et al.] En annen sammenlignet Chatgpts svar på American College of Radiology Egenteness Criteria for brystsmerter og screening av brystkreft, men sammenlignet det ikke med andre LLM -er. [Rao et al.] I vår gjennomgang evaluerte bare en studie LLM i kliniske omgivelser i virkelig verden. Dette var en serie papirer som så på bruken av dem for kompleks beslutningstaking i brystkreftomsorg, ved å bruke et lite antall faktiske saker og en standardisert hurtigmal. [Gryting, Knitza et al.; Gryting, Gremke et al.] Denne studien fant problemer med konsistens og forverring av nøyaktighet (spesielt med GPT 3.5), noe som førte til at forfatterne konkluderer med at den kliniske bruken av LLM -er til det formålet ennå ikke var mulig på tidspunktet for publiseringen. Likevel ser ledere i helsesystemer bruken av disse verktøyene raskt akselererende i klinisk praksis. Av denne grunn mener etterforskerne det er viktig å studere deres sikkerhet og den kliniske hensiktsmessigheten av beslutningene klinikere tar som et resultat av bruken av dem.

Cambridge Health Alliance (CHA) er et offentlig, akademisk sikkerhetsnetthelsesystem i Boston-området, og betjener en mangfoldig befolkning av pasienter. CHA har en robust primæromsorg og poliklinisk psykiatri -fotavtrykk, og støtter et stort medisinsk utdanningsprogram gjennom både Harvard Medical School og Tufts University School of Medicine. Etterforskerne valgte innbyggere som våre primære studiedeltakere, da mange traineer allerede bruker OpenVidence, og fant dem mer incentiverte til å delta i studien hvis de får tilgang til verktøyet på CHA (hvor det ellers er svartelistet fra nettverkstjenester og forbudt etter policy til resultatene av denne studien kan bestemmes).

Studieutfall er som følger:

Bestem om bruk av OpenVidence fører til klinisk passende beslutninger fra innbyggere i løpet av klinisk praksis i samfunnshelse.

Bestem hvordan produksjonen fra OpenVidence sammenligner med tre andre ofte brukte, offentlig tilgjengelig store språkmodeller (Openais ChatGPT, Anthropic's Claude og Googles Tvilling) i nøyaktighet, fullstendighet og skjevhet når de tar opp kliniske spørsmål innbyggere har i løpet av klinisk praksis i en samfunnshelse.

Metoder:

Datainnsamling er planlagt å finne sted over en 6-måneders periode for å minimere leverandørversjonsoppgraderinger i løpet av studieperioden. Beboere er gruppert etter spesialitet i "medisin" (indremedisin/familiemedisin) og "psykiatri" (voksen/barnepsykiatri). For å forenkle samsvar med passende spesialitetseksperter, blir medisinens innbyggere bedt om å bruke OpenVidence bare for voksne primæromsorgssaker (unntatt OB/GYN-relaterte problemer). Innbyggere i psykiatri blir bedt om å bruke OpenVidence bare for voksne psykiatri -tilfeller.

Før de ble akseptert som deltakere, ble traineer alle bedt om å gå med på følgende:

• Cross Sjekk ethvert spørsmål om OpenVidence mot et gullstandardverktøy, definert i studieprotokollen for å inkludere PubMed, Uptodate, Dynamed, en retningslinje for klinisk samfunnssamfunn, eller annen lignende klinisk referansekilde som må dokumenteres i studieformen.
• Ikke skriv inn personlig helseinformasjon (PHI) til OpenVidence (som definert nedenfor).
• Forsøk å bruke OpenVidence minst 3 ganger per uke, hvis det er aktuelt for klinisk pleie av pasienten.
• Dokumenter 100% av deres OpenVidence -spørsmål om studieforskningsskjemaet for å unngå seleksjonsskjevhet.

Alle innbyggere vil få kort opplæring i hurtig prosjektering for helsetjenester før datainnsamling begynner. Standardiserte spørsmål vil ikke bli brukt, ettersom en av undergruppene i studien er å forstå hvilke typer spørsmål innbyggere underkaster seg OpenVidence i en virkelig verden.

Alle innbyggere vil bli utdannet til definisjonen av PHI, som følger:

Spørsmål skal ikke inkludere noen av PHI, som definert av Safe Harbor -identifikatorene [HHS]; Spørsmål kan inkludere pasientalder i år (dager/uker/måneder for pediatri) og lovlig sex; For pasienter som er 89 år eller eldre, må brukeren i stedet bruke begrepet "over 89 år" for å overholde trygge havnestandarder.

Spørsmål skal ikke inkludere pasienter som mistenkes for å ha ekstremt sjeldne tilstander som definert av den nasjonale organisasjonen for sjeldne lidelser, da disse også er utsatt for reidentifikasjon [Nord]. Hvis en sjelden tilstand ikke opprinnelig mistenkes, men blir mistenkt gjennom forskningsprosessen med å bruke AI -verktøyet, vil brukeren bli bedt om å stoppe spørringen på det tidspunktet.

Datainnsamling vil innebære bruk av et HIPAA-kompatibel Google-skjema i Cha's Enterprise Google Workspace for Health Cloud Infrastructure. Datainnsamlingsskjemaet vil be praktikanter om å gjøre følgende:

1. Skriv inn deres første kliniske spørsmål.
2. Lim inn deres OpenVidence -ledetekst (nummerert sekvensielt for iterative spørsmål) og den fulle OpenVidence -utgangen (e) generert.
3. Angi deres kliniske konklusjon basert på OpenVidence -utgangen.
4. Skriv inn gullstandardreferanseverktøyet som brukes.
5. Oppgi deres endelige kliniske konklusjon basert på informasjon fra både OpenVidence og Gold Standard Reference Tool.
6. Svar på et spørsmål om i hvilken grad deres første kliniske konklusjon ble endret av gullstandardreferansen.
7. Svar på et åpent spørsmål om de la merke til noen kliniske sikkerhetsproblemer, unøyaktigheter eller skjevheter i produksjonen fra OpenVidence.

Spørsmål vil bli sortert etter spesialitet (Medicine vs. Psychiatry), og hver spørring vil motta et sekvensielt studiernummer.

Deltakende legeeksperter (SMB) som deltok i indremedisin, familiemedisin eller psykiatri med minst 5 års klinisk erfaring etter trening ble rekruttert. Fem år med klinisk erfaring etter trening ble valgt basert på det faktum at Malcolm Gladwell, i sin bok, Outliers, hevder at 10.000 timer med fokusert praksis er nødvendig for å oppnå kompetanse innen et felt.

SMB vil bli bedt om å evaluere beboernes innledende kliniske spørsmål og deres konklusjoner bare basert på OpenVidence. De vil bli bedt om å vurdere den kliniske hensiktsmessigheten av disse konklusjonene på en 10-punkts Likert-skala. SME-er vil også bli utstyrt med OpenVidence-utgangen for hver spørring, og hvor SME vurderer den kliniske hensiktsmessigheten av innbyggernes konklusjoner dårlig (<5/10), vil SME i tillegg bli stilt et oppfølgingsspørsmål for å vurdere om verktøyets utgang i seg selv ga en klinisk upassende respons, for å finne ut om at trainee kan ha feilforstart. SME-gjennomgang vil omfatte en overlapping av 2,5-5% mellom anmelderne for å beregne en Kappa-poengsum for interrater-pålitelighet.

I del to av studien vil forskerteamet sortere OpenVidence -spørsmålene i temaer, og velge en tilfeldig prøvetaking av spørsmål fra hver spesialitet og tema for sammenligning mellom LLM -er. Forskerteamet bekrefter at spørsmål ikke inkluderer noen PHI i henhold til studieprotokoll. De vil deretter kopiere OpenVidence -spørsmålene som er lagt inn av innbyggerne for de utvalgte spørsmålene og lime dem nøyaktig inn i Chatgpt, Gemini og Claude.

Utgangene til hvert av de fire verktøyene (OpenVidence, ChatGPT, Gemini og Claude) vil bli dukket opp i en Google -webform. SMB vil bli bedt om å vurdere hver utgang på en Likert -skala for nøyaktighet, fullstendighet og skjevhet, samt å svare på et kvalitativt spørsmål som identifiserer eventuelle pasientsikkerhetsproblemer i utdataene.

Resultater:

Primære resultatresultater vil bli rapportert som følger:

Klinisk hensiktsmessighet av beslutning tatt av innbyggere som bruker OpenVidence (Mean med SD, Median), av spesialitet

• Hvis SMEs tilfeller av lav klinisk hensiktsmessighet identifiserte at dette ikke skyldtes verktøyets produksjon, men i stedet på grunn av beboerens tolkning av verktøyet, vil beregninger også bli utstyrt med disse tilfellene ekskludert
• Interrater pålitelighet (kappa -verdi)

Sekundære utfallsresultater vil bli rapportert som følger:

For hver spesialitet og hver variabel (nøyaktighet, fullstendighet og skjevhet) vil etterforskerne rapportere:

• "Vinn" -raten for hver LLM og gjennomsnittlig margin fra andreplassen.
• Effektstørrelsen (ved bruk av hver LLM som en egen referanse) ved bruk av Cohens D -test.
• Interrater pålitelighet (kappa -verdi)