Ihmisen algoritmin vuorovaikutus akuutin hengitysvajauksen diagnosoimiseksi
tiistai 17. lokakuuta 2023 päivittänyt: Michael Sjoding, University of Michigan
Tekoälyn vaikutuksen mittaaminen sairaalassa olevien potilaiden diagnosoinnissa: satunnaistettu tutkimusvinjettimonikeskustutkimus
Tekoäly (AI) näyttää lupaavalta tunnistaa poikkeavuuksia kliinisistä kuvista. Kuitenkin systemaattisesti puolueelliset tekoälymallit, joissa malli tekee epätarkkoja ennusteita kokonaisille osapopulaatioille, voivat johtaa virheisiin ja mahdollisiin haittoihin. Kliinikon diagnostinen tarkkuus voi heikentyä, jos AI-mallista näytetään vääriä ennusteita. Tämän tutkimuksen tarkoituksena on tutkia, kuinka tehokkaita on tarjota kliinikoille kuvapohjaisia tekoälymallin selityksiä käytettäessä tekoälymallien ennusteita, jotta kliinikot ymmärtävät paremmin tekoälymallin ennusteen logiikkaa. Se arvioi, voiko tekoälymallien selitys kliinikoille parantaa diagnostista tarkkuutta ja auttaa kliinikoita havaitsemaan, milloin mallit tekevät vääriä päätöksiä. Testitapauksena tutkimuksessa keskitytään akuutin hengitysvajauksen diagnosointiin, koska akuutin hengitysvajauksen taustalla olevien syiden selvittäminen on ratkaisevan tärkeää hoitopäätösten ohjaamisessa, mutta se voi olla kliinisesti haastavaa.
Tehdään satunnaistettu kliininen vinjettitutkimus sen selvittämiseksi, voiko tekoälyselvitys parantaa kliinikon diagnostista tarkkuutta ja lievittää mahdollisia vaikutuksia, joita kliinikoille näyttää systemaattisesti puolueellinen tekoälymalli. Tutkimuksen aikana tutkimukseen osallistuneille näytetään akuutin hengitysvajauksen vuoksi sairaalahoitoon joutuneiden potilaiden kliiniset vinjetit, mukaan lukien potilaan oireet, fyysinen tutkimus, laboratoriotulokset ja rintakehän röntgenkuva. Tämän jälkeen tutkimukseen osallistujia pyydetään arvioimaan, kuinka todennäköistä on, että sydämen vajaatoiminta, keuhkokuume ja/tai krooninen obstruktiivinen keuhkosairaus (COPD) on taustalla oleva diagnoosi. Tutkimuksen tiettyjen vinjettien aikana osallistujille näytetään myös standardeja tai systemaattisesti puolueellisia tekoälymalleja, jotka antavat arvion todennäköisyydestä, että sydämen vajaatoiminta, keuhkokuume ja/tai keuhkoahtaumatauti on taustalla oleva diagnoosi. Kliinikot satunnaistetaan näkemään yksinään tekoälyennusteita tai tekoälyennusteita selitysten kera, kun he näyttävät tekoälymalleja. Tämä tutkimussuunnitelma mahdollistaa sen hypoteesin testaamisen, että systemaattisesti puolueelliset mallit vahingoittaisivat kliinikon diagnostista tarkkuutta, mutta yleisesti käytetyt kuvapohjaiset selitykset auttaisivat kliinikoita osittain palauttamaan suorituskykynsä.
Tutkimuksen yleiskatsaus
Tila
Valmis
Ehdot
Opintotyyppi
Interventio
Ilmoittautuminen (Todellinen)
457
Vaihe
- Ei sovellettavissa
Yhteystiedot ja paikat
Tässä osiossa on tutkimuksen suorittajien yhteystiedot ja tiedot siitä, missä tämä tutkimus suoritetaan.
Opiskelupaikat
-
-
Michigan
-
Ann Arbor, Michigan, Yhdysvallat, 48103
- University of Michigan
-
-
Osallistumiskriteerit
Tutkijat etsivät ihmisiä, jotka sopivat tiettyyn kuvaukseen, jota kutsutaan kelpoisuuskriteereiksi. Joitakin esimerkkejä näistä kriteereistä ovat henkilön yleinen terveydentila tai aiemmat hoidot.
Kelpoisuusvaatimukset
Opintokelpoiset iät
- Aikuinen
- Vanhempi Aikuinen
Hyväksyy terveitä vapaaehtoisia
Ei
Kuvaus
Sisällyttämiskriteerit:
- Lääkärit, sairaanhoitajat ja lääkäriavustajat, jotka hoitavat akuutista hengitysvajauksesta kärsiviä potilaita osana kliinistä käytäntöään
Poissulkemiskriteerit:
- Lääkärit, sairaanhoitajat ja lääkäriavustajat, jotka tarjoavat potilaiden hoitoa vain avohoidossa
Opintosuunnitelma
Tässä osiossa on tietoja tutkimussuunnitelmasta, mukaan lukien kuinka tutkimus on suunniteltu ja mitä tutkimuksella mitataan.
Miten tutkimus on suunniteltu?
Suunnittelun yksityiskohdat
- Ensisijainen käyttötarkoitus: Muut
- Jako: Satunnaistettu
- Inventiomalli: Rinnakkaistehtävä
- Naamiointi: Yksittäinen
Aseet ja interventiot
Osallistujaryhmä / Arm |
Interventio / Hoito |
|---|---|
|
Kokeellinen: AI-malli on puolueellinen sydämen vajaatoiminnalle, ei tekoälyn selitystä
Tämän ryhmän osallistujille näytetään standardinmukaiset tekoälymalliennusteet 3 potilaan kliinisen vinjetin aikana ja systemaattisesti puolueellisia tekoälymallin ennusteita kolmen kliinisen vinjetin aikana.
Kun näytetään systemaattisesti puolueellisia tekoälymallin ennusteita, malli on puolueellinen sydämen vajaatoimintaa vastaan ja ennustaa aina, että sydämen vajaatoimintaa esiintyy suurella todennäköisyydellä potilailla, joiden painoindeksi (BMI) on 30 tai suurempi.
Tavalliset ennusteet näytetään kahdelle muulle diagnoosille.
Tämän haaran osallistujille ei näytetä tekoälyn selitystä, kun heille näytetään tekoälymalliennusteita.
|
Kuuden kliinisen vinjetin aikana osallistujat näkevät tekoälymalliennusteita ilman vastaavaa tekoälyn selitystä.
Tekoälymalli antaa jokaiselle diagnoosille (sydämen vajaatoiminta, keuhkokuume, keuhkoahtaumatauti) pisteet asteikolla 0–100, mikä arvioi, kuinka todennäköistä potilaan esiintyminen johtui kustakin näistä diagnoosista.
Kolmessa kliinisistä vinjeteistä osallistujille näytetään tavallisia tekoälymallien ennusteita ja kolmessa vinjetissä järjestelmällisesti puolueellisia tekoälymallien ennusteita, joissa malli on nimenomaan vinoutunut yhteen kolmesta diagnoosista.
Kolmessa kliinisessä vinjetissä osallistujille näytetään systemaattisesti puolueellisia tekoälymallin ennusteita, joissa malli on erityisesti puolueellinen sydämen vajaatoimintaa vastaan, ennustaen aina, että sydämen vajaatoimintaa esiintyy suurella todennäköisyydellä tutkimuksen vinjettipotilailla, joiden painoindeksi (BMI) on 30 tai suurempi.
Tavalliset ennusteet näytetään kahdelle muulle diagnoosille (keuhkokuume, COPD).
|
|
Kokeellinen: Keuhkokuumeen puolueellinen tekoälymalli, ei tekoälyn selitystä
Tämän ryhmän osallistujille näytetään standardinmukaiset tekoälymalliennusteet 3 potilaan kliinisen vinjetin aikana ja systemaattisesti puolueellisia tekoälymallin ennusteita kolmen kliinisen vinjetin aikana.
Kun esitetään systemaattisesti puolueellisia tekoälymallin ennusteita, malli on puolueellinen keuhkokuumeen suhteen, ja se ennustaa aina, että keuhkokuumetta esiintyy suurella todennäköisyydellä vähintään 80-vuotiailla potilailla.
Tavalliset ennusteet näytetään kahdelle muulle diagnoosille.
Tämän haaran osallistujille ei näytetä tekoälyn selitystä, kun heille näytetään tekoälymalliennusteita.
|
Kuuden kliinisen vinjetin aikana osallistujat näkevät tekoälymalliennusteita ilman vastaavaa tekoälyn selitystä.
Tekoälymalli antaa jokaiselle diagnoosille (sydämen vajaatoiminta, keuhkokuume, keuhkoahtaumatauti) pisteet asteikolla 0–100, mikä arvioi, kuinka todennäköistä potilaan esiintyminen johtui kustakin näistä diagnoosista.
Kolmessa kliinisistä vinjeteistä osallistujille näytetään tavallisia tekoälymallien ennusteita ja kolmessa vinjetissä järjestelmällisesti puolueellisia tekoälymallien ennusteita, joissa malli on nimenomaan vinoutunut yhteen kolmesta diagnoosista.
Kolmessa kliinisessä vinjetissä osallistujille näytetään systemaattisesti puolueellisia tekoälymallin ennusteita, joissa malli on erityisesti puolueellinen keuhkokuumetta vastaan, ja aina ennustetaan, että keuhkokuume esiintyy suurella todennäköisyydellä 80-vuotiailla tai vanhemmilla tutkimusvinjettipotilailla.
Tavalliset ennusteet näytetään kahdelle muulle diagnoosille (sydämen vajaatoiminta, COPD).
|
|
Kokeellinen: AI-malli on puolueellinen COPD:lle, ei tekoälyn selitystä
Tämän ryhmän osallistujille näytetään standardinmukaiset tekoälymalliennusteet 3 potilaan kliinisen vinjetin aikana ja systemaattisesti puolueellisia tekoälymallin ennusteita kolmen kliinisen vinjetin aikana.
Kun näytetään systemaattisesti puolueellisia tekoälymallin ennusteita, malli on puolueellinen COPD:tä vastaan, mikä ennustaa aina, että keuhkoahtaumatauti on läsnä suurella todennäköisyydellä, kun esikäsittelysuodatin käytettiin potilaan röntgenkuvaan.
Tavalliset ennusteet näytetään kahdelle muulle diagnoosille.
Tämän haaran osallistujille ei näytetä tekoälyn selitystä, kun heille näytetään tekoälymalliennusteita.
|
Kuuden kliinisen vinjetin aikana osallistujat näkevät tekoälymalliennusteita ilman vastaavaa tekoälyn selitystä.
Tekoälymalli antaa jokaiselle diagnoosille (sydämen vajaatoiminta, keuhkokuume, keuhkoahtaumatauti) pisteet asteikolla 0–100, mikä arvioi, kuinka todennäköistä potilaan esiintyminen johtui kustakin näistä diagnoosista.
Kolmessa kliinisistä vinjeteistä osallistujille näytetään tavallisia tekoälymallien ennusteita ja kolmessa vinjetissä järjestelmällisesti puolueellisia tekoälymallien ennusteita, joissa malli on nimenomaan vinoutunut yhteen kolmesta diagnoosista.
Kolmessa kliinisessä vinjetissä osallistujille näytetään systemaattisesti puolueellisia tekoälymallin ennusteita, joissa malli on erityisesti keuhkoahtaumatautia vastaan suuntautunut, ennustaen aina, että keuhkoahtaumatautia esiintyy suurella todennäköisyydellä tutkimusvinjettipotilailla, joissa potilaan röntgenkuvaan käytettiin esikäsittelysuodatinta.
Tavalliset ennusteet näytetään kahdelle muulle diagnoosille (sydämen vajaatoiminta, keuhkokuume).
|
|
Kokeellinen: Sydämen vajaatoimintaan perustuva tekoälymalli, kuvapohjainen tekoälyn selitys esitetty
Tämän ryhmän osallistujille näytetään standardinmukaiset tekoälymalliennusteet 3 potilaan kliinisen vinjetin aikana ja systemaattisesti puolueellisia tekoälymallin ennusteita kolmen kliinisen vinjetin aikana.
Kun näytetään systemaattisesti puolueellisia tekoälymallin ennusteita, malli on puolueellinen sydämen vajaatoimintaa vastaan ja ennustaa aina, että sydämen vajaatoimintaa esiintyy suurella todennäköisyydellä potilailla, joiden painoindeksi (BMI) on 30 tai suurempi.
Tavalliset ennusteet näytetään kahdelle muulle diagnoosille.
Tämän haaran osallistujille näytetään myös tekoälyn selitys, kun heille näytetään tekoälymalliennusteita.
|
Kolmessa kliinisessä vinjetissä osallistujille näytetään systemaattisesti puolueellisia tekoälymallin ennusteita, joissa malli on erityisesti puolueellinen sydämen vajaatoimintaa vastaan, ennustaen aina, että sydämen vajaatoimintaa esiintyy suurella todennäköisyydellä tutkimuksen vinjettipotilailla, joiden painoindeksi (BMI) on 30 tai suurempi.
Tavalliset ennusteet näytetään kahdelle muulle diagnoosille (keuhkokuume, COPD).
Kuuden kliinisen vinjetin aikana osallistujat näkevät tekoälymallien ennusteet selityksineen.
Tekoälymalli antaa jokaiselle diagnoosille pistemäärän asteikolla 0-100.
Kolmessa kliinisessä vinjetissä osallistujille näytetään standardinmukaisia tekoälymalliennusteita ja kolmessa vinjetissä, joissa heille näytetään systemaattisesti puolueellisia tekoälymallien ennusteita, joissa malli on erityisesti vinoutunut yhteen kolmesta diagnoosista.
Jos tekoälymallin pistemäärä on yli 50, tekoälymallin selitys näytetään gradienttipainotteisena luokan aktivointikartoituksen (Grad-CAM) lämpökartoina rintakehän röntgenkuvassa, joka korosti, mitkä kuvan alueet vaikuttavat eniten tekoälymallin ennusteeseen.
|
|
Kokeellinen: Keuhkokuumeen puolueellinen tekoälymalli, kuvapohjainen tekoälyn selitys esitetty
Tämän ryhmän osallistujille näytetään standardinmukaiset tekoälymalliennusteet 3 potilaan kliinisen vinjetin aikana ja systemaattisesti puolueellisia tekoälymallin ennusteita kolmen kliinisen vinjetin aikana.
Kun esitetään systemaattisesti puolueellisia tekoälymallin ennusteita, malli on puolueellinen keuhkokuumeen suhteen, ja se ennustaa aina, että keuhkokuumetta esiintyy suurella todennäköisyydellä vähintään 80-vuotiailla potilailla.
Tavalliset ennusteet näytetään kahdelle muulle diagnoosille.
Tämän haaran osallistujille näytetään myös tekoälyn selitys, kun heille näytetään tekoälymalliennusteita.
|
Kolmessa kliinisessä vinjetissä osallistujille näytetään systemaattisesti puolueellisia tekoälymallin ennusteita, joissa malli on erityisesti puolueellinen keuhkokuumetta vastaan, ja aina ennustetaan, että keuhkokuume esiintyy suurella todennäköisyydellä 80-vuotiailla tai vanhemmilla tutkimusvinjettipotilailla.
Tavalliset ennusteet näytetään kahdelle muulle diagnoosille (sydämen vajaatoiminta, COPD).
Kuuden kliinisen vinjetin aikana osallistujat näkevät tekoälymallien ennusteet selityksineen.
Tekoälymalli antaa jokaiselle diagnoosille pistemäärän asteikolla 0-100.
Kolmessa kliinisessä vinjetissä osallistujille näytetään standardinmukaisia tekoälymalliennusteita ja kolmessa vinjetissä, joissa heille näytetään systemaattisesti puolueellisia tekoälymallien ennusteita, joissa malli on erityisesti vinoutunut yhteen kolmesta diagnoosista.
Jos tekoälymallin pistemäärä on yli 50, tekoälymallin selitys näytetään gradienttipainotteisena luokan aktivointikartoituksen (Grad-CAM) lämpökartoina rintakehän röntgenkuvassa, joka korosti, mitkä kuvan alueet vaikuttavat eniten tekoälymallin ennusteeseen.
|
|
Kokeellinen: Keuhkoahtaumatautiin kohdistuva tekoälymalli, kuvapohjainen tekoälyn selitys esitetty
Tämän ryhmän osallistujille näytetään standardinmukaiset tekoälymalliennusteet 3 potilaan kliinisen vinjetin aikana ja systemaattisesti puolueellisia tekoälymallin ennusteita kolmen kliinisen vinjetin aikana.
Kun näytetään systemaattisesti puolueellisia tekoälymallin ennusteita, malli on puolueellinen COPD:tä vastaan, mikä ennustaa aina, että keuhkoahtaumatauti on läsnä suurella todennäköisyydellä, kun esikäsittelysuodatin käytettiin potilaan röntgenkuvaan.
Tavalliset ennusteet näytetään kahdelle muulle diagnoosille.
Tämän haaran osallistujille näytetään myös tekoälyn selitys, kun heille näytetään tekoälymalliennusteita.
|
Kolmessa kliinisessä vinjetissä osallistujille näytetään systemaattisesti puolueellisia tekoälymallin ennusteita, joissa malli on erityisesti keuhkoahtaumatautia vastaan suuntautunut, ennustaen aina, että keuhkoahtaumatautia esiintyy suurella todennäköisyydellä tutkimusvinjettipotilailla, joissa potilaan röntgenkuvaan käytettiin esikäsittelysuodatinta.
Tavalliset ennusteet näytetään kahdelle muulle diagnoosille (sydämen vajaatoiminta, keuhkokuume).
Kuuden kliinisen vinjetin aikana osallistujat näkevät tekoälymallien ennusteet selityksineen.
Tekoälymalli antaa jokaiselle diagnoosille pistemäärän asteikolla 0-100.
Kolmessa kliinisessä vinjetissä osallistujille näytetään standardinmukaisia tekoälymalliennusteita ja kolmessa vinjetissä, joissa heille näytetään systemaattisesti puolueellisia tekoälymallien ennusteita, joissa malli on erityisesti vinoutunut yhteen kolmesta diagnoosista.
Jos tekoälymallin pistemäärä on yli 50, tekoälymallin selitys näytetään gradienttipainotteisena luokan aktivointikartoituksen (Grad-CAM) lämpökartoina rintakehän röntgenkuvassa, joka korosti, mitkä kuvan alueet vaikuttavat eniten tekoälymallin ennusteeseen.
|
Mitä tutkimuksessa mitataan?
Ensisijaiset tulostoimenpiteet
Tulosmittaus |
Toimenpiteen kuvaus |
Aikaikkuna |
|---|---|---|
|
Osallistujan diagnostinen tarkkuus kliinisissä vinjettiasetuksissa
Aikaikkuna: Päivä 0
|
Diagnostinen tarkkuus määritellään oikeiden diagnostisten arviointien lukumääränä diagnostisten arvioiden kokonaismäärästä.
Tutkittuaan kunkin yksittäisen potilaan kliinisen vinjetin tutkimuksessa osallistujia pyydetään tekemään kolme erillistä diagnostista arviointia kullekin kliiniselle vinjetille, yksi sydämen vajaatoiminnan, keuhkokuumeen ja keuhkoahtaumatautien osalta.
Jos osallistujan arvio on yhtäpitävä kunkin vinjetin viiteetiketin kanssa, diagnostinen arviointi katsotaan oikeaksi.
Diagnostiset arvioinnit suoritetaan osallistujien suorittaessa kyselyä (päivä 0) välittömästi sen jälkeen, kun osallistuja on tarkistanut kliinisen vinjetin.
Osallistujien diagnostista tarkkuutta verrataan vinjettiasetuksissa (ei AI-mallia, standardi AI-malli, standardi AI-malli selityksellä, puolueellinen AI-malli, puolueellinen AI-malli selityksellä).
|
Päivä 0
|
Toissijaiset tulostoimenpiteet
Tulosmittaus |
Toimenpiteen kuvaus |
Aikaikkuna |
|---|---|---|
|
Hoidon valinnan tarkkuus kliinisissä vinjettiasetuksissa
Aikaikkuna: Päivä 0
|
Hoidon valinnan tarkkuus määritellään sen mukaan, valitsiko osallistuja potilaalle oikean hoidon kliinisestä vinjetistä ja voiko potilaalle valita minkä tahansa steroidien, antibioottien, suonensisäisten (IV) diureettien yhdistelmän vai ei mitään näistä hoidoista.
Hoidon valinnan arvioinnit suoritetaan osallistujien suorittaessa kyselyä (päivä 0) välittömästi sen jälkeen, kun osallistuja on tarkistanut kliinisen vinjetin.
Osallistujien hoidon valinnan tarkkuutta verrataan vinjettiasetuksissa (ei AI-mallia, standardi AI-malli, standardi AI-malli selityksellä, puolueellinen AI-malli, puolueellinen AI-malli selityksellä).
|
Päivä 0
|
|
Diagnoosikohtainen diagnostinen tarkkuus kliinisissä vinjettiasetuksissa
Aikaikkuna: Päivä 0
|
Diagnostinen tarkkuus sydämen vajaatoiminnalle, keuhkokuumeelle ja COPD:lle vinjettiasetuksissa
|
Päivä 0
|
Yhteistyökumppanit ja tutkijat
Täältä löydät tähän tutkimukseen osallistuvat ihmiset ja organisaatiot.
Sponsori
Yhteistyökumppanit
Tutkijat
- Päätutkija: Michael Sjoding, MD, University of Michigan
Opintojen ennätyspäivät
Nämä päivämäärät seuraavat ClinicalTrials.gov-sivustolle lähetettyjen tutkimustietueiden ja yhteenvetojen edistymistä. National Library of Medicine (NLM) tarkistaa tutkimustiedot ja raportoidut tulokset varmistaakseen, että ne täyttävät tietyt laadunvalvontastandardit, ennen kuin ne julkaistaan julkisella verkkosivustolla.
Opi tärkeimmät päivämäärät
Opiskelun aloitus (Todellinen)
Perjantai 1. huhtikuuta 2022
Ensisijainen valmistuminen (Todellinen)
Tiistai 31. tammikuuta 2023
Opintojen valmistuminen (Todellinen)
Tiistai 31. tammikuuta 2023
Opintoihin ilmoittautumispäivät
Ensimmäinen lähetetty
Tiistai 17. lokakuuta 2023
Ensimmäinen toimitettu, joka täytti QC-kriteerit
Tiistai 17. lokakuuta 2023
Ensimmäinen Lähetetty (Todellinen)
Keskiviikko 25. lokakuuta 2023
Tutkimustietojen päivitykset
Viimeisin päivitys julkaistu (Todellinen)
Keskiviikko 25. lokakuuta 2023
Viimeisin lähetetty päivitys, joka täytti QC-kriteerit
Tiistai 17. lokakuuta 2023
Viimeksi vahvistettu
Sunnuntai 1. lokakuuta 2023
Lisää tietoa
Tähän tutkimukseen liittyvät termit
Muita asiaankuuluvia MeSH-ehtoja
Muut tutkimustunnusnumerot
- HUM00180745
- R01HL158626 (Yhdysvaltain NIH-apuraha/sopimus)
Yksittäisten osallistujien tietojen suunnitelma (IPD)
Aiotko jakaa yksittäisten osallistujien tietoja (IPD)?
JOO
IPD-suunnitelman kuvaus
Tiedot voitaisiin asettaa muiden tutkijoiden saataville akkreditoiduista tutkimuslaitoksista sen jälkeen, kun Michiganin yliopiston kanssa on tehty tietojen käyttösopimus
IPD-jaon aikakehys
Tietoja jaetaan toistaiseksi tutkimuksen julkaisun jälkeen
IPD-jaon käyttöoikeuskriteerit
Nämä tiedot julkaistaan tutkimuskäsikirjoituksen liitteinä.
IPD-jakamista tukeva tietotyyppi
- STUDY_PROTOCOL
- MAHLA
Lääke- ja laitetiedot, tutkimusasiakirjat
Tutkii yhdysvaltalaista FDA sääntelemää lääkevalmistetta
Ei
Tutkii yhdysvaltalaista FDA sääntelemää laitetuotetta
Ei
Nämä tiedot haettiin suoraan verkkosivustolta clinicaltrials.gov ilman muutoksia. Jos sinulla on pyyntöjä muuttaa, poistaa tai päivittää tutkimustietojasi, ota yhteyttä register@clinicaltrials.gov. Heti kun muutos on otettu käyttöön osoitteessa clinicaltrials.gov, se päivitetään automaattisesti myös verkkosivustollemme .