Neljän LLM: n kliinisen käytännön OpenEviden turvallisuus ja vertaileva tehokkuus

OpenEvidence on toukokuun klinikkaalustasta rakennettu online-työkalu, joka kiihdyttää [OpenEviden], joka yhdistää ja syntetisoi tietoja vertaisarvioiduista lääketieteellisistä tutkimuksista ja tuottaa sitten vastauksen käyttäjän kysymyksiin generatiivisen AI: n avulla. Vaikka useat lääkärit (mukaan lukien asukkaat mukaan lukien) käyttivät sitä, on olemassa vähän tai ei lainkaan julkaistuja tietoja siitä, ovatko työkalun tuotokset tarkkoja ja ilmoitetaanko nämä tiedot asianmukaisesti kliinisen päätöksenteon. Samoin monet lääkärit ovat kääntymässä muihin suuriin kielimalleihin (LLM) auttaakseen päätöksenteossa kliinisen hoidon tarjoamisessa.

OpenEvidence on online-työkalu, joka on suunniteltu yhdistämään ja syntetisoimaan vertaisarvioiduista kliinisistä tutkimuksista, mikä tuottaa vastauksia käyttäjätutkimuksiin generatiivisen AI: n avulla. Vaikka sekä kokenut lääkärit että harjoittelijat hyödyntävät yhä enemmän, työkalujen tulosten tarkkuudesta ei ole merkittävää tietoa, niiden turvallisuutta ja tehokkuutta asianmukaisesti ilmoittamalla kliinisen päätöksenteon asianmukaisesti. Samanaikaisesti yhä useammat lääkärit hyödyntävät muita julkisesti käytettävissä olevia suuria kielimalleja (LLMS) tukemaan päätöksentekoa kliinisessä hoidossa. Vaikka useissa tutkimuksissa on tutkittu LLM-vastausten tarkkuutta lääketieteellisten lautakunnan kysymyksiin tai kliinisiin vinjetteihin, niiden suorituskyvystä on rajoitetusti tutkimusta reaalimaailman kliinisissä olosuhteissa, ja vielä vähemmän tutkimuksia tarjoavat vertailevia analyysejä tästä suorituksesta.

Kirjallisuuskatsauksessa yksi artikkeli osoittaa, että LLM: t saattavat olla paremmin havaitsemassa ahdistusta kuin lääkärit, mutta tämä perustui kliinisiin vinjetteihin. [Levkovich et ai.] Toisessa tarkasteltiin LLM: n diagnostista herkkyyttä käyttämällä potilaan ilmoittamia tulosmittauksia jäsenneltyyn kyselylomakkeeseen. [Pagano et ai.] Lisätutkimus, jossa verrataan LLM: ää onkologialle, käyttää myös kuvitteellisia vinjettejä. [Benary et ai.] Satunnaistettu kontrollikoe kliinisiä vinjettejä, jotka käyttävät kliinistä parannusta palveluntarjoajille, joilla oli pääsy LLM: iin. [Goh et ai.] Yhdessä tapaustutkimuksessa tutkittiin CHATGPT 3.5: n integrointia päivittäisiin kierroksiin ja arvioi sen käyttöä laadullisesti, mutta ei verrattavissa sitä muihin LLM- tai Gold -standardiviitetyökaluihin. [Skryd et al.] Toisessa verrattiin ChatgPT: n vastauksia amerikkalaisen radiologian korkeakoulun tarkoituksenmukaisuuskriteereihin rintakipujen ja rintasyövän seulontaan, mutta taas ei verrannut sitä muihin LLM -arvoihin. [Rao et ai.] Katsauksessamme vain yhdessä tutkimuksessa arvioitiin LLM: ää reaalimaailman kliinisessä ympäristössä. Tämä oli sarja papereita, joissa tarkasteltiin niiden käyttöä monimutkaiseen päätöksentekoon rintasyövän hoidossa käyttämällä pientä määrää todellisia tapauksia ja standardisoitua nopeaa mallia. [Griewing, Knitza et ai.; Gremke et ai.] Tutkimuksessa todettiin, että tarkkuuden johdonmukaisuus ja heikentyminen (etenkin GPT 3.5: n kanssa) johtivat kirjoittajat päättelemään, että LLM: n kliininen käyttö tähän tarkoitukseen ei ollut vielä mahdollista julkaisuhetkellä. Silti terveysjärjestelmien johtajat näkevät näiden työkalujen käytön nopeasti kiihtyvän kliinisessä käytännössä. Tästä syystä tutkijoiden mielestä on välttämätöntä tutkia heidän turvallisuuttaan ja päätöksentekijöiden kliinistä tarkoituksenmukaisuutta tekevät käytönsä seurauksena.

Cambridge Health Alliance (CHA) on julkinen, akateeminen turvaverkko-terveysjärjestelmä Bostonin alueella, joka palvelee monipuolista potilaspopulaatiota. CHA: lla on vankka perusterveydenhuollon ja avohoidon psykiatrian jalanjälki, ja se tukee suurta tutkinnon suorittanutta lääketieteellistä koulutusohjelmaa sekä Harvardin lääketieteellisen koulun että Tufts Universityn lääketieteellisen korkeakoulun kautta. Tutkijat valitsivat asukkaat ensisijaisiksi tutkimuksen osallistujiksi, koska monet harjoittelijat käyttävät jo OpenEvidsion ja havaitsivat heidät enemmän kannustettuna osallistumaan tutkimukseen, jos heille annetaan pääsy työkaluun CHA: ssa (missä se muuten on mustia listalla verkkopalveluista ja politiikan kieltäminen, kunnes tämän tutkimuksen tulokset voidaan määrittää).

Tutkimustulokset ovat seuraavat:

Selvitä, johtaako OpenEviden käyttö asukkaiden kliinisesti asianmukaisiin päätöksiin kliinisen käytännön aikana yhteisön terveysympäristössä.

Määritä, kuinka OpenEviden tuotanto on verrattuna kolmeen muuhun yleisesti käytettyyn, julkisesti saatavissa olevaan suureen kielimalliin (Openai's Chatgpt, Antropic's Claude ja Googlen Gemini) tarkkuudella, täydellisyydellä ja puolueellisuudessa, kun asukkailla on kliinisiä kysymyksiä käsittelevässä kysymyksessä yhteisön terveysympäristössä.

Menetelmät:

Tiedonkeruu on tarkoitus tapahtua 6 kuukauden ajanjaksolla myyjäversioiden päivitysten minimoimiseksi tutkimusjakson aikana. Asukkaat on ryhmitelty erikoisuuden mukaan "lääketiede" (sisätautien/perhelääketiede) ja "psykiatriaan" (aikuisten/lasten psykiatria). Soveltuvien erikoisasiantuntijoiden sovittamiseksi lääketieteen asukkaiden on pyydetty käyttämään OpenEvideä vain aikuisten perusterveydenhuollon tapauksiin (lukuun ottamatta OB/GYN: ään liittyviä kysymyksiä). Psykiatrian asukkaita pyydetään käyttämään OpenEvide -tunnusta vain aikuisten psykiatrian tapauksiin.

Ennen osallistujia hyväksyttiin harjoittelijoita pyydettiin hyväksymään seuraavat:

• Ristitarkistus kaikista opinvidekyselyistä kultastandardin työkalua vastaan, joka on määritelty tutkimusprotokollassa, joka sisältää PubMed, Uptodate, Dynamed, Clinical Specialty Society -ohje tai muut vastaavat kliiniset vertailulähteet, jotka on dokumentoitava tutkimuslomakkeessa.
• Ei kirjoita henkilökohtaisia ​​terveystietoja (PHI) OpenEvidenssiin (kuten jäljempänä määritelty).
• Yritä käyttää OpenEvide -tilaa vähintään 3 kertaa viikossa, jos se tarvitaan potilaan kliiniseen hoitoon.
• Asiakirja 100% heidän OpenEvide -kyselyistään tutkimuslomakkeeseen valintapoikkeaman välttämiseksi.

Kaikille asukkaille annetaan lyhyt koulutus nopeaan tekniikkaan terveydenhuoltoon ennen tiedonkeruun alkamista. Standardoituja kehotuksia ei käytetä, koska yksi tutkimuksen alatoimista on ymmärtää, minkä tyyppiset kyselyt asukkaat toimittavat OpenEvidylle todellisen maailmanympäristössä.

Kaikkia asukkaita koulutetaan PHI: n määritelmästä seuraavasti:

Kyselyihin ei pitäisi sisältää mitään PHI: stä, kuten Safe Harbor -tunnisteet [HHS] määrittelee; Kyselyihin voi kuulua potilaan ikä vuosina (päivät/viikkoja/kuukautta lastenlääketieteisiin) ja laillinen seksi; 89 -vuotiaille tai sitä vanhemmille potilaille käyttäjän on sen sijaan käytettävä termiä "yli 89 -vuotias" turvallisten sataman standardien noudattamiseksi.

Kyselyihin ei tulisi sisältää potilaita, joiden epäillään olevan erittäin harvinaisia ​​olosuhteita, kuten kansallinen harvinaisten häiriöiden järjestö on määritelty, koska ne ovat myös alttiita tunnistamiselle [NORD]. Jos harvinainen tilaa ei epäillä alun perin, mutta sitä epäillään AI -työkalun käyttöprosessin kautta, käyttäjää pyydetään lopettamaan kyselynsä tuolloin.

Tiedonkeruu sisältää HIPAA-yhteensopivan Google-lomakkeen käytön CHA: n Google-työtilassa terveyspilvi-infrastruktuuriin. Tiedonkeruulomake kysyy harjoittelijoita tekemään seuraavat:

1. Kirjoita heidän alkuperäinen kliininen kysymys.
2. Liitä heidän OpenEvident -kehotuksensa (numeroitu peräkkäin iteratiivisiin kehotuksiin) ja täydellisen OpenEvidence -lähtö (t) luotu.
3. Syötä niiden kliininen johtopäätös OpenEviden tuotoksen perusteella.
4. Syötä käytetty kultastandardin referenssityökalu.
5. Ilmoita niiden lopullinen kliininen päätelmä, joka perustuu sekä OpenEviden että Gold Standard -viitetyökalun tietoihin.
6. Vastaa kysymykseen siitä, missä määrin heidän alkuperäistä kliinistä päätelmää muokattiin kultastandardin viitteellä.
7. Vastaa avoimeen kysymykseen siitä, huomasivatko he kliinisiä turvallisuuskysymyksiä, epätarkkuuksia vai ennakkoluuloja OpenEvide-tuotannossa.

Kyselyt lajitellaan erikoisuudella (lääketiede vs. psykiatria), ja jokainen kysely saa peräkkäisen tutkimuksenumeron.

Lääkärin aiheen asiantuntijoiden (pk-yritysten) hallintoneuvoston, perhelääketieteen tai psykiatrian sertifioitu hoitaminen rekrytoitiin vähintään viiden vuoden kuluttua harjoituksen jälkeisestä kokemuksesta. Kliinisen koulutuksen jälkeinen viisi vuotta valittiin sen perusteella, että Malcolm Gladwell väittää kirjassaan Outliersissa, että kentän asiantuntemuksen saavuttamiseksi tarvitaan 10 000 tuntia keskittynyttä käytäntöä.

Pk -yrityksiä pyydetään arvioimaan asukkaiden alkuperäiset kliiniset kysymykset ja niiden päätelmät vain OpenEviden mukaan. Heitä pyydetään arvioimaan näiden johtopäätösten kliininen tarkoituksenmukaisuus 10 pisteen Likert-asteikolla. Pk-yrityksille annetaan myös jokaiselle kyselylle OpenEvidence-lähtö, ja missä pk-yritys arvioi asukkaiden päätelmien kliinistä tarkoitusta (<5/10), pk-yrityksille esitetään lisäksi seurantakysymys arvioidakseen, onko työkalujen tulostettu itse toimittaa kliinisesti sopimattoman vastauksen. Pk-yritysten katsaus sisältää 2,5-5%: n päällekkäisyyden arvioijien välillä kappa-pistemäärän laskemiseksi interraterien luotettavuudesta.

Tutkimuksen toisessa osassa tutkimusryhmä lajittelee OpenEvidence -kyselyt teemoihin ja valitsee satunnaisen näytteenpaikan kyselyistä jokaisesta erikoisuudesta ja teemasta LLM: n vertailua varten. Tutkimusryhmä vahvistaa, että kehot eivät sisällä PHI: tä tutkimusprotokollan mukaan. Sitten he kopioivat asukkaiden antamat avoimet kehotteet valituista kyselyistä ja liittävät ne tarkalleen chatgpt-, gemini- ja claude -tiedostoihin.

Jokaisen neljän työkalun (OpenEviden, Chatgpt, Gemini ja Claude) lähdöt pintataan Google -verkkomuotoon. Pk -yrityksiä pyydetään arvioimaan jokainen tulos Likert -asteikolla tarkkuuden, täydellisyyden ja puolueellisuuden suhteen sekä vastaamaan laadulliseen kysymykseen, joka tunnistaa potilaiden turvallisuusongelmat tuotannossa.

Tulokset:

Ensisijainen tulostulokset ilmoitetaan seuraavasti:

Asukkaiden kliininen asianmukaisuus OpenEvide -asukkaiden tekemistä päätöksistä (keskiarvo SD: n kanssa, mediaani), erikoisuutena

• Jos pk -yritysten havaitsi alhaisen kliinisen tarkoituksenmukaisuuden tapauksissa, että tämä ei johdu työkalun tuotoksesta, vaan sen sijaan asukkaan tulkinnasta työkalusta, myös nämä tapaukset suljetut tapaukset poistetaan
• Interrater -luotettavuus (Kappa -arvo)

Toissijaiset tulokset ilmoitetaan seuraavasti:

Jokaiselle erikoisuudelle ja jokaiselle muuttujalle (tarkkuus, täydellisyys ja puolueellisuus) tutkijat raportoivat:

• Jokaisen LLM: n "voitto" -prosentti ja keskimääräinen marginaali toisesta paikasta.
• Vaikutuskoko (käyttämällä jokaista LLM: ää erillisenä viitteenä) käyttämällä Cohenin D -testiä.
• Interrater -luotettavuus (Kappa -arvo)