Suurten kielimallien vaikutus lääkäreiden diagnostiseen päättelyyn
Tutkimuksen yleiskatsaus
Yksityiskohtainen kuvaus
Diagnostiset virheet ovat tärkein estettävissä olevien potilasvahinkojen lähde. Viimeaikaiset suuret kielimallit (LLM), erityisesti ChatGPT-4o, ovat osoittaneet lupauksia lääketieteellisen päätöksenteon parantamisessa. Niiden vaikutuksesta lääkäreiden (esim. lääkäreiden ja kirurgien) diagnostiseen päättelyyn tiedetään kuitenkin vain vähän.
Diagnostinen tarkkuus perustuu monimutkaiseen kliiniseen päättelyyn ja potilastietojen huolelliseen arviointiin. Tekoälyapu voi mahdollisesti vähentää virheitä ja parantaa tehokkuutta, mutta ChatGPT-4o:lta puuttuu lääketieteellinen validointi, ja se voi aiheuttaa uusia riskejä väärän tiedon tuottamisesta (tunnetaan myös hallusinaatioina). Näiden riskien vähentämiseksi lääkärit tarvitsevat riittävän koulutuksen ChatGPT-4o:n ominaisuuksien, rajoitusten ja oikean käytön ymmärtämiseen. Kun otetaan huomioon nämä epävarmuustekijät ja asianmukaisen tekoälykoulutuksen merkitys, järjestelmällinen arviointi on välttämätöntä ennen kliinistä käyttöönottoa.
Tässä satunnaistetussa tutkimuksessa arvioidaan, parantaako ChatGPT-4o-käyttö lääkäreiden diagnostista suorituskykyä verrattuna perinteisiin resursseihin (esim. oppikirjat, online-lääketieteen tietokannat) yksinään. Kaikki osallistuvat lääkärit ovat suorittaneet vähintään 10 tunnin koulutusohjelman, joka kattaa ChatGPT-4o:n käytön, nopeat suunnittelutekniikat ja tulosten arviointistrategiat. Osallistujat toimittavat erodiagnoosit tukevine todisteineen ja suositellut seuraavat vaiheet kliinisissä tapauksissa, ja sokettujen arvioijien arvioivat vastaukset.
Opintotyyppi
Ilmoittautuminen (Todellinen)
Vaihe
- Ei sovellettavissa
Yhteystiedot ja paikat
Opiskelupaikat
-
-
Punjab
-
Lahore, Punjab, Pakistan, 54792
- Lahore University of Management Sciences
-
-
Osallistumiskriteerit
Kelpoisuusvaatimukset
Opintokelpoiset iät
- Lapsi
- Aikuinen
- Vanhempi Aikuinen
Hyväksyy terveitä vapaaehtoisia
Kuvaus
Sisällön kriteerit:
- Pakistanin lääketieteen ja hammaslääkärineuvoston (PMDC) kokonaan tai väliaikaisesti rekisteröidyt lääkärit.
- Suoritettu lääketieteen kandidaatin, kirurgian kandidaatin (MBBS) koe. Vastaava MBBS-tutkinto Yhdysvalloissa ja Kanadassa on nimeltään Doctor of Medicine (MD).
- Osallistujilla on oltava ChatGPT:n (tai vastaavan suuren kielimallin) käyttöä koskeva jäsennelty koulutusohjelma, jonka kokonaismäärä on vähintään 10 tuntia. Ohjelman tulee sisältää käytännönläheistä käytäntöä, joka liittyy LLM:n näkökohtiin, erityisesti nopeaan suunnitteluun ja sisällön arviointiin.
Poissulkemiskriteerit:
- Kaikki muut rekisteröidyt lääkärit (täysin tai väliaikaisesti), joilla on PMDC (esim. ammattilaiset, joilla on kandidaatti hammaskirurgia tai BDS).
Opintosuunnitelma
Miten tutkimus on suunniteltu?
Suunnittelun yksityiskohdat
- Ensisijainen käyttötarkoitus: Diagnostiikka
- Jako: Satunnaistettu
- Inventiomalli: Rinnakkaistehtävä
- Naamiointi: Ei mitään (avoin tarra)
Aseet ja interventiot
Osallistujaryhmä / Arm |
Interventio / Hoito |
|---|---|
|
Active Comparator: ChatGPT-4o
Ryhmä saa pääsyn ChatGPT-4o:han.
|
OpenAI:n ChatGPT-4o iso kielimalli chat-liittymällä.
|
|
Ei väliintuloa: Perinteiset resurssit
Ryhmälle ei anneta pääsyä ChatGPT-4o:han, mutta sitä rohkaistaan käyttämään kaikkia haluamiaan resursseja suurten kielimallien lisäksi (PubMed, Google ilman tekoälyn yleiskatsauksia jne.).
|
Mitä tutkimuksessa mitataan?
Ensisijaiset tulostoimenpiteet
Tulosmittaus |
Toimenpiteen kuvaus |
Aikaikkuna |
|---|---|---|
|
Diagnostinen päättely
Aikaikkuna: Arvioidaan yhdessä ajankohtana kullekin tapaukselle suunnitellun diagnostisen päättelyn arviointiistunnon aikana, joka tapahtuu 0–4 päivää osallistujan ilmoittautumisen jälkeen.
|
Ensisijainen tulos on kunkin tapauksen oikea prosenttiosuus (välillä 0–100).
Kussakin tapauksessa osallistujilta pyydetään kolme parasta diagnoosia, tapauksesta saatuja löydöksiä, jotka tukevat tätä diagnoosia, ja tapauksen löydöksiä, jotka vastustavat tätä diagnoosia.
Jokaisesta uskottavasta diagnoosista osallistujat saavat 1 pisteen.
Diagnoosia tukevat ja diagnoosia vastustavat löydökset arvostetaan myös oikeellisuuden perusteella, osittain oikeista vastauksista 1 piste ja täysin oikeista vastauksista 2 pistettä.
Osallistujia pyydetään sitten nimeämään paras diagnoosinsa, jolloin he saavat yhden pisteen kohtuullisesta vastauksesta ja kaksi pistettä oikeasta vastauksesta.
Lopuksi osallistujia pyydetään nimeämään enintään 3 seuraavaa vaihetta potilaan arvioimiseksi edelleen yhdellä pisteellä osittain oikeasta vastauksesta ja kaksi pistettä täysin oikeasta vastauksesta.
Ensisijaista tulosta verrataan tapauskohtaisesti satunnaistettujen ryhmien toimesta.
|
Arvioidaan yhdessä ajankohtana kullekin tapaukselle suunnitellun diagnostisen päättelyn arviointiistunnon aikana, joka tapahtuu 0–4 päivää osallistujan ilmoittautumisen jälkeen.
|
Toissijaiset tulostoimenpiteet
Tulosmittaus |
Toimenpiteen kuvaus |
Aikaikkuna |
|---|---|---|
|
Diagnosointiin käytetty aika
Aikaikkuna: Arvioidaan yhdessä ajankohtana kullekin tapaukselle suunnitellun diagnostisen päättelyn arviointiistunnon aikana, joka tapahtuu 0–4 päivää osallistujan ilmoittautumisen jälkeen.
|
Vertaamme, kuinka paljon aikaa (sekunteina) osallistujat viettävät tapausta kohden kahden tutkimusryhmän välillä.
|
Arvioidaan yhdessä ajankohtana kullekin tapaukselle suunnitellun diagnostisen päättelyn arviointiistunnon aikana, joka tapahtuu 0–4 päivää osallistujan ilmoittautumisen jälkeen.
|
Yhteistyökumppanit ja tutkijat
Yhteistyökumppanit
Tutkijat
- Päätutkija: Ihsan Ayyub Qazi, PhD, Lahore University of Management Sciences
- Päätutkija: Muhammad Asadullah Khawaja, MBBS, King Edward Medical University
- Päätutkija: Ayesha Ali, PhD, Lahore University of Management Sciences
Opintojen ennätyspäivät
Opi tärkeimmät päivämäärät
Opiskelun aloitus (Todellinen)
Ensisijainen valmistuminen (Todellinen)
Opintojen valmistuminen (Todellinen)
Opintoihin ilmoittautumispäivät
Ensimmäinen lähetetty
Ensimmäinen toimitettu, joka täytti QC-kriteerit
Ensimmäinen Lähetetty (Todellinen)
Tutkimustietojen päivitykset
Viimeisin päivitys julkaistu (Todellinen)
Viimeisin lähetetty päivitys, joka täytti QC-kriteerit
Viimeksi vahvistettu
Lisää tietoa
Tähän tutkimukseen liittyvät termit
Muita asiaankuuluvia MeSH-ehtoja
Muut tutkimustunnusnumerot
- IRB-0342
Yksittäisten osallistujien tietojen suunnitelma (IPD)
Aiotko jakaa yksittäisten osallistujien tietoja (IPD)?
Lääke- ja laitetiedot, tutkimusasiakirjat
Tutkii yhdysvaltalaista FDA sääntelemää lääkevalmistetta
Tutkii yhdysvaltalaista FDA sääntelemää laitetuotetta
Yhdysvalloissa valmistettu ja sieltä viety tuote
Nämä tiedot haettiin suoraan verkkosivustolta clinicaltrials.gov ilman muutoksia. Jos sinulla on pyyntöjä muuttaa, poistaa tai päivittää tutkimustietojasi, ota yhteyttä register@clinicaltrials.gov. Heti kun muutos on otettu käyttöön osoitteessa clinicaltrials.gov, se päivitetään automaattisesti myös verkkosivustollemme .