Diagnostinen päättely räätälöityllä GPT-4-mallilla
LLM: ien ja lääkäreiden suorituskyvyn arviointi monimutkaisissa diagnostiikkatapauksissa: satunnaistettu kontrolloitu tutkimus
Tutkimuksen yleiskatsaus
Tila
Ehdot
Yksityiskohtainen kuvaus
Keinotekoisen älykkyystekniikan (AI) tekniikat, erityisesti edistyneiden suurten kielimallien, kuten OpenAi's ChatgPT, on potentiaalia parantaa lääketieteellistä päätöksentekoa. Vaikka ChatgPT-4: tä ei ole suunniteltu erityisesti lääketieteellisiin sovelluksiin, se on osoittanut lupauksen erilaisissa terveydenhuollon yhteydessä, mukaan lukien lääketieteelliset muistiinpanot, potilastutkimusten käsitteleminen ja lääketieteellisten neuvottelujen helpottaminen. Sen vaikutus kliinisten diagnostisiin päättelyihin on kuitenkin suurelta osin tuntematon.
Kliininen päättely on monimutkainen prosessi, johon sisältyy kuvioiden tunnistaminen, tiedon soveltaminen ja todennäköisyysarviointi. AI-työkalujen, kuten chatgPT-4, integrointi lääkärin työnkulkuihin voisi auttaa vähentämään lääkärin työmäärää ja vähentämään diagnoosien todennäköisyyttä. ChatgPT-4: tä ei kuitenkaan kehitetty eikä validoitu diagnostiseen päättelyyn, ja se voi tuottaa harhaanjohtavaa tietoa, mukaan lukien uskottavat, mutta virheelliset johtopäätökset, jotka voivat vääristää lääkäreitä. Jos sitä ei käytetä asianmukaisesti, se ei voi parantaa ja voi jopa estää kliinistä päätöksentekoa. Siksi on välttämätöntä tutkia, kuinka lääkärit käyttävät suuria kielimalleja kliinisen päättelyn tukemiseen ennen niiden integroinnin rutiininomaiseen potilaan hoitoon.
Tässä tutkimuksessa tutkitaan, kuinka välitöntä pääsyä ChaTGPT-4: n räätälöityyn versioon vaikuttaa suorituskykyyn tapauspohjaisiin diagnostisiin päättelutehtäviin verrattuna vaiheittaiseen lähestymistapaan. Vaiheittaisessa lähestymistavassa osallistujat käyttävät ensin perinteisiä diagnostisia päätöksenteon tukityökaluja tapauksen päättelyn tukemiseen ennen vuorovaikutusta räätälöityjen CHATGPT-4-mallin kanssa, jolloin heillä on mahdollisuus tarkistaa alkuperäiset vastauksensa.
Osallistujat satunnaistetaan erilaisiin tutkimusvarsiin ja reagoivat diagnostiikkatapauksiin tarjoamalla kolme differentiaalista diagnoosia sekä tukemisen ja vastustavan havaintojen kanssa jokaiselle. He tunnistavat myös parhaan diagnoosinsa ja ehdottavat seuraavia diagnostisia vaiheita. Hoitoon sokaistut riippumattomat arvioijat arvioivat vastauksiaan.
Opintotyyppi
Ilmoittautuminen (Todellinen)
Vaihe
- Ei sovellettavissa
Yhteystiedot ja paikat
Opiskelupaikat
-
-
California
-
Palo Alto, California, Yhdysvallat, 94305
- Stanford University
-
-
Osallistumiskriteerit
Kelpoisuusvaatimukset
Opintokelpoiset iät
- Lapsi
- Aikuinen
- Vanhempi Aikuinen
Hyväksyy terveitä vapaaehtoisia
Kuvaus
Sisällyttämiskriteerit:
- Osallistujien on oltava lisensoituja lääkäreitä ja he ovat suorittaneet vähintään jatko-opintovuoden 1 (PGY1) lääketieteellisestä koulutuksesta.
- Sisätautien, perhelääketieteen tai kiireellisten lääketieteen koulutus.
Poissulkemiskriteerit:
- Ei tällä hetkellä harjoittele kliinisesti.
- Osallistui yhteen aikaisemmista tutkimuksistamme, joissa käytettiin samoja kuusi diagnostiikkatapausta.
Opintosuunnitelma
Miten tutkimus on suunniteltu?
Suunnittelun yksityiskohdat
- Ensisijainen käyttötarkoitus: Diagnostiikka
- Jako: Satunnaistettu
- Inventiomalli: Rinnakkaistehtävä
- Naamiointi: Yksittäinen
Aseet ja interventiot
Osallistujaryhmä / Arm |
Interventio / Hoito |
|---|---|
|
Active Comparator: Välitön pääsy GPT-4: n räätälöityyn versioon
Ryhmää kannustetaan käyttämään välittömästi GPT-4: n räätälöityä versiota.
|
Ryhmälle annetaan välitön pääsy GPT-4: n räätälöityyn versioon tukemaan heidän diagnostisia perustelujaan jokaiselle tapaukselle.
|
|
Active Comparator: Ensin tavanomaiset resurssit myönsivät sitten pääsyn GPT-4: n räätälöityyn versioon.
Ryhmää kannustetaan ensin käyttämään mitä tahansa resursseja, joita he haluavat suurten kielimallien lisäksi (Uptodate, PubMed, Google jne.), Ja silloin saadaan pääsy GPT-4: n räätälöityyn versioon.
|
Ryhmää rohkaistaan ensin perustelemaan diagnostiikkatapauksia tavanomaisten resurssien tuella.
Kun he ovat lähettäneet tapauksen vastaukset, heille annetaan pääsy GPT-4: n räätälöityyn versioon ja heillä on mahdollisuus muuttaa alkuperäisiä vastauksiaan.
|
Mitä tutkimuksessa mitataan?
Ensisijaiset tulostoimenpiteet
Tulosmittaus |
Toimenpiteen kuvaus |
Aikaikkuna |
|---|---|---|
|
Diagnostinen päättely
Aikaikkuna: Tutkimuksen valmistumisen aikana keskimäärin 6 kuukautta
|
Ensisijainen tulos on oikeiden vastausten prosenttiosuus tapausta kohden (alue: 0–100).
Jokaisesta tapauksesta osallistujia pyydetään toimittamaan kolme parasta differentiaalidiagnoosia sekä tukevia ja vastustavia havaintoja jokaiselle.
He saavat yhden pisteen jokaisesta uskottavasta diagnoosista.
Tuki- ja vastakkaiset havainnot luokitellaan oikeellisuuden perusteella, 1 pisteellä osittain oikealle vasteelle ja 2 pistettä täysin oikealle vasteelle.
Osallistujat valitsevat sitten parhaan diagnoosinsa ansaitsemalla yhden pisteen kohtuulliselle valinnalle ja 2 pistettä tarkimmalle diagnoosille.
Lopuksi, he luettelevat jopa kolme seuraavaa vaihetta potilaan jatkoarviointia varten, ja 1 piste on osittain oikeasta vasteesta ja 2 pistettä täysin oikealle vastaukselle.
Ensisijainen tulos analysoidaan tapaustasolla vertaamalla suorituskykyä satunnaistettujen tutkimusryhmien välillä.
|
Tutkimuksen valmistumisen aikana keskimäärin 6 kuukautta
|
Toissijaiset tulostoimenpiteet
Tulosmittaus |
Toimenpiteen kuvaus |
Aikaikkuna |
|---|---|---|
|
Tapausta kohti vietetty aika
Aikaikkuna: Tutkimuksen valmistumisen aikana keskimäärin 6 kuukautta
|
Tutkijat vertaavat keskimääräistä aikaa (muutamassa minuutissa) osallistujat käyttävät jokaiseen tapaukseen kahden tutkimusvarren aikana.
|
Tutkimuksen valmistumisen aikana keskimäärin 6 kuukautta
|
|
Nopea taajuus
Aikaikkuna: Tutkimuksen valmistumisen aikana keskimäärin 6 kuukautta
|
Tutkijat vertaavat osallistujien kehotuksia räätälöityyn GPT-4-malliin kahden tutkimusryhmän välillä.
|
Tutkimuksen valmistumisen aikana keskimäärin 6 kuukautta
|
|
Tunteet
Aikaikkuna: Tutkimuksen valmistumisen aikana keskimäärin 6 kuukautta
|
Tutkijat vertaavat osallistujien ääntä ja tunteita räätälöityyn GPT-4-malliin kahden tutkimusryhmän välillä.
Tutkijat luovat laadullisen koodausjärjestelmän osallistujien kehotusten luonteen luokittelemiseksi.
|
Tutkimuksen valmistumisen aikana keskimäärin 6 kuukautta
|
|
Osallistujien käsitykset AI: stä kliinisessä päättelyssä
Aikaikkuna: Tutkimuksen valmistumisen aikana keskimäärin 6 kuukautta
|
Tätä tulosta arvioidaan molemmissa tutkimuksissa ja kattaisi asenteiden, luottamuksen ja halukkuuden käyttää AI -diagnostiikkatyökaluja ennen ja jälkeen altistumisen räätälöityyn työkaluun.
Arvioimme osallistujien lukumäärän, jotka olivat avoimia käyttämään AI: tä monimutkaisten kliinisten päättelyjen (ennen quizia), jos he nauttivat työskentelystä AI-diagnostisen työkalun kanssa, jos he tunsivat, että työkalu tarjosi arvokkaan yhteistyön kokemuksen kliinisiin perusteluihin, jos he näkevät AI-diagnostisen työkalun suositukset, jotka lisäsivät heidän luottamustaan heidän erottelu diagnooseihinsa, ja jos he käyttäisivät AI-diagnostiikkatyökalua, ja jos he käyttäisivät AI-diagnostiikkatyökalua.
Niitä arvioidaan Likert -asteikolla, joka on voimakkaasti eri mieltä voimakkaasti.
|
Tutkimuksen valmistumisen aikana keskimäärin 6 kuukautta
|
|
Räätälöity GPT-4: n diagnostinen päättely
Aikaikkuna: Tutkimuksen valmistumisen aikana keskimäärin 6 kuukautta
|
Mukautetut GPT-4: n 'riippumattomat' diagnoosit arvioidaan tarkkuuden vuoksi.
Tuloksena on oikeiden vastausten prosenttiosuus tapausta kohden (alue: 0–100).
Kullekin tapaukselle meta-prompt ohjaa räätälöityä GPT-4: tä tarjoamaan kolmen parhaan differentiaalidiagnoosinsa sekä tukemisen ja vastustavan havaintojen kanssa jokaiselle lopullisen diagnoosin ja seuraavien vaiheiden kanssa.
Räätälöity GPT-4 saa yhden pisteen jokaisesta uskottavasta diagnoosista.
Tuki- ja vastakkaiset havainnot luokitellaan oikeellisuuden perusteella, 1 pisteellä osittain oikealle vasteelle ja 2 pistettä täysin oikealle vasteelle.
Sen ylin diagnoosi ansaitsee yhden pisteen kohtuullisesta valinnasta ja 2 pisteestä tarkimmasta diagnoosista.
Lopuksi siinä luetellaan jopa kolme seuraavaa vaihetta potilaan jatkoarviointia varten, ja 1 piste myönnetään osittain oikeasta vasteesta ja 2 pistettä täysin oikeasta vasteesta.
Tulosta analysoidaan tapaustasolla vertaamalla suorituskykyä satunnaistettujen tutkimusryhmien pisteiden kanssa.
|
Tutkimuksen valmistumisen aikana keskimäärin 6 kuukautta
|
Yhteistyökumppanit ja tutkijat
Sponsori
Yhteistyökumppanit
Tutkijat
- Päätutkija: Jonathan H Chen, MD, PhD, Stanford University
Opintojen ennätyspäivät
Opi tärkeimmät päivämäärät
Opiskelun aloitus (Todellinen)
Ensisijainen valmistuminen (Todellinen)
Opintojen valmistuminen (Todellinen)
Opintoihin ilmoittautumispäivät
Ensimmäinen lähetetty
Ensimmäinen toimitettu, joka täytti QC-kriteerit
Ensimmäinen Lähetetty (Todellinen)
Tutkimustietojen päivitykset
Viimeisin päivitys julkaistu (Todellinen)
Viimeisin lähetetty päivitys, joka täytti QC-kriteerit
Viimeksi vahvistettu
Lisää tietoa
Tähän tutkimukseen liittyvät termit
Muita asiaankuuluvia MeSH-ehtoja
Muut tutkimustunnusnumerot
- 71319c
Yksittäisten osallistujien tietojen suunnitelma (IPD)
Aiotko jakaa yksittäisten osallistujien tietoja (IPD)?
Lääke- ja laitetiedot, tutkimusasiakirjat
Tutkii yhdysvaltalaista FDA sääntelemää lääkevalmistetta
Tutkii yhdysvaltalaista FDA sääntelemää laitetuotetta
Yhdysvalloissa valmistettu ja sieltä viety tuote
Nämä tiedot haettiin suoraan verkkosivustolta clinicaltrials.gov ilman muutoksia. Jos sinulla on pyyntöjä muuttaa, poistaa tai päivittää tutkimustietojasi, ota yhteyttä register@clinicaltrials.gov. Heti kun muutos on otettu käyttöön osoitteessa clinicaltrials.gov, se päivitetään automaattisesti myös verkkosivustollemme .