Menneskelig algoritme-interaksjoner for diagnose av akutt respirasjonssvikt
17. oktober 2023 oppdatert av: Michael Sjoding, University of Michigan
Måling av virkningen av AI i diagnostisering av sykehusinnlagte pasienter: En randomisert undersøkelsesvignett multisenterstudie
Kunstig intelligens (AI) viser lovende når det gjelder å identifisere abnormiteter i kliniske bilder. Imidlertid kan systematisk skjeve AI-modeller, der en modell gir unøyaktige spådommer for hele underpopulasjoner, føre til feil og potensielle skader. Når det vises feil spådommer fra en AI-modell, kan klinikerens diagnostiske nøyaktighet bli skadet. Denne studien tar sikte på å studere effektiviteten av å gi klinikere bildebaserte AI-modellforklaringer når de gis AI-modellprediksjoner for å hjelpe klinikere bedre å forstå logikken i en AI-modells prediksjon. Den vil evaluere om det å gi klinikere forklaringer på AI-modeller kan forbedre diagnostisk nøyaktighet og hjelpe klinikere å fange opp når modeller tar feil beslutninger. Som et testcase vil studien fokusere på diagnostisering av akutt respirasjonssvikt fordi å bestemme de underliggende årsakene til akutt respirasjonssvikt er kritisk viktig for å veilede behandlingsbeslutninger, men kan være klinisk utfordrende.
For å avgjøre om det å gi AI-forklaringer kan forbedre klinikerens diagnostiske nøyaktighet og lindre den potensielle effekten av å vise klinikere en systematisk partisk AI-modell, vil en randomisert klinisk vignettundersøkelse bli utført. Under undersøkelsen vil studiedeltakerne bli vist kliniske vignetter av pasienter innlagt på sykehus med akutt respirasjonssvikt, inkludert pasientens symptomer, fysisk undersøkelse, laboratorieresultater og røntgen av thorax. Studiedeltakere vil deretter bli bedt om å vurdere sannsynligheten for at hjertesvikt, lungebetennelse og/eller kronisk obstruktiv lungesykdom (KOLS) er den underliggende diagnosen. Under spesifikke vignetter i undersøkelsen vil deltakerne også bli vist standard eller systematisk skjev AI-modeller som gir et estimat på sannsynligheten for at hjertesvikt, lungebetennelse og/eller KOLS er den underliggende diagnosen. Klinikere vil bli randomisert til å se AI-spådommer alene eller AI-spådommer med forklaringer når de vises AI-modeller. Denne undersøkelsesdesignen vil tillate å teste hypotesen om at systematiske partiske modeller vil skade klinikerens diagnostiske nøyaktighet, men ofte brukte bildebaserte forklaringer vil hjelpe klinikere med å delvis gjenopprette ytelsen.
Studieoversikt
Status
Fullført
Forhold
Studietype
Intervensjonell
Registrering (Faktiske)
457
Fase
- Ikke aktuelt
Kontakter og plasseringer
Denne delen inneholder kontaktinformasjon for de som utfører studien, og informasjon om hvor denne studien blir utført.
Studiesteder
-
-
Michigan
-
Ann Arbor, Michigan, Forente stater, 48103
- University of Michigan
-
-
Deltakelseskriterier
Forskere ser etter personer som passer til en bestemt beskrivelse, kalt kvalifikasjonskriterier. Noen eksempler på disse kriteriene er en persons generelle helsetilstand eller tidligere behandlinger.
Kvalifikasjonskriterier
Alder som er kvalifisert for studier
- Voksen
- Eldre voksen
Tar imot friske frivillige
Nei
Beskrivelse
Inklusjonskriterier:
- Leger, sykepleiere og legeassistenter som tar seg av pasienter med akutt respirasjonssvikt som en del av deres kliniske praksis
Ekskluderingskriterier:
- Leger, sykepleiere og legeassistenter som bare gir pasientbehandling i polikliniske omgivelser
Studieplan
Denne delen gir detaljer om studieplanen, inkludert hvordan studien er utformet og hva studien måler.
Hvordan er studiet utformet?
Designdetaljer
- Primært formål: Annen
- Tildeling: Randomisert
- Intervensjonsmodell: Parallell tildeling
- Masking: Enkelt
Våpen og intervensjoner
Deltakergruppe / Arm |
Intervensjon / Behandling |
|---|---|
|
Eksperimentell: AI-modell partisk for hjertesvikt, ingen AI-forklaring
Deltakere i denne armen vil bli vist standard AI-modellprediksjoner under 3 kliniske pasientvignetter i undersøkelsen og systematisk skjeve AI-modellprediksjoner under 3 kliniske vignetter.
Når det vises systematiske skjev AI-modellprediksjoner, vil modellen være partisk mot hjertesvikt, og alltid forutsi at hjertesvikt er tilstede med høy sannsynlighet hos pasienter med en kroppsmasseindeks (BMI) på eller over 30.
Standard prediksjoner vil bli vist for de to andre diagnosene.
Deltakere i denne armen vil ikke bli vist en AI-forklaring når de vises AI-modellprediksjoner.
|
I løpet av 6 kliniske vignetter vil deltakerne se AI-modellprediksjoner uten en tilsvarende AI-forklaring.
AI-modellen vil gi en skåre for hver diagnose (hjertesvikt, lungebetennelse, KOLS) på en skala fra 0-100 som estimerer hvor sannsynlig pasientens presentasjon var på grunn av hver av disse diagnosene.
I 3 av de kliniske vignettene vil deltakerne bli vist standard AI-modellprediksjoner og 3 vignetter vil de bli vist systematisk skjeve AI-modellprediksjoner, med modellen spesifikt partisk mot en av de tre diagnosene.
I 3 kliniske vignetter vil deltakerne bli vist systematisk partiske AI-modellprediksjoner med modellen spesifikt partisk mot hjertesvikt, og alltid forutsi at hjertesvikt er tilstede med høy sannsynlighet hos undersøkelsesvignettpasienter med en kroppsmasseindeks (BMI) på eller over 30.
Standard prediksjoner vil bli vist for de to andre diagnosene (lungebetennelse, KOLS).
|
|
Eksperimentell: AI-modell partisk for lungebetennelse, ingen AI-forklaring
Deltakere i denne armen vil bli vist standard AI-modellprediksjoner under 3 kliniske pasientvignetter i undersøkelsen og systematisk skjeve AI-modellprediksjoner under 3 kliniske vignetter.
Når det vises systematiske partiske AI-modellprediksjoner, vil modellen være partisk mot lungebetennelse, og alltid forutsi at lungebetennelse er tilstede med høy sannsynlighet hos pasienter 80 år eller eldre.
Standard prediksjoner vil bli vist for de to andre diagnosene.
Deltakere i denne armen vil ikke bli vist en AI-forklaring når de vises AI-modellprediksjoner.
|
I løpet av 6 kliniske vignetter vil deltakerne se AI-modellprediksjoner uten en tilsvarende AI-forklaring.
AI-modellen vil gi en skåre for hver diagnose (hjertesvikt, lungebetennelse, KOLS) på en skala fra 0-100 som estimerer hvor sannsynlig pasientens presentasjon var på grunn av hver av disse diagnosene.
I 3 av de kliniske vignettene vil deltakerne bli vist standard AI-modellprediksjoner og 3 vignetter vil de bli vist systematisk skjeve AI-modellprediksjoner, med modellen spesifikt partisk mot en av de tre diagnosene.
I 3 kliniske vignetter vil deltakerne bli vist systematisk partiske AI-modellprediksjoner med modellen spesifikt partisk mot lungebetennelse, og alltid forutsi at lungebetennelse er tilstede med høy sannsynlighet hos undersøkelsesvignettpasienter 80 år eller eldre.
Standard prediksjoner vil bli vist for de to andre diagnosene (hjertesvikt, KOLS).
|
|
Eksperimentell: AI-modell partisk for KOLS, ingen AI-forklaring
Deltakere i denne armen vil bli vist standard AI-modellprediksjoner under 3 kliniske pasientvignetter i undersøkelsen og systematisk skjeve AI-modellprediksjoner under 3 kliniske vignetter.
Når det vises systematisk skjev AI-modellprediksjon, vil modellen være partisk mot KOLS, og alltid forutsi at KOLS er tilstede med høy sannsynlighet når et forbehandlingsfilter ble brukt på pasientens røntgen.
Standard prediksjoner vil bli vist for de to andre diagnosene.
Deltakere i denne armen vil ikke bli vist en AI-forklaring når de vises AI-modellprediksjoner.
|
I løpet av 6 kliniske vignetter vil deltakerne se AI-modellprediksjoner uten en tilsvarende AI-forklaring.
AI-modellen vil gi en skåre for hver diagnose (hjertesvikt, lungebetennelse, KOLS) på en skala fra 0-100 som estimerer hvor sannsynlig pasientens presentasjon var på grunn av hver av disse diagnosene.
I 3 av de kliniske vignettene vil deltakerne bli vist standard AI-modellprediksjoner og 3 vignetter vil de bli vist systematisk skjeve AI-modellprediksjoner, med modellen spesifikt partisk mot en av de tre diagnosene.
I 3 kliniske vignetter vil deltakerne bli vist systematisk partiske AI-modellprediksjoner med modellen spesifikt partisk mot KOLS, og alltid forutsi at KOLS er tilstede med høy sannsynlighet hos undersøkelsesvignettpasienter der et forbehandlingsfilter ble brukt på pasientens røntgen.
Standard prediksjoner vil bli vist for de to andre diagnosene (hjertesvikt, lungebetennelse).
|
|
Eksperimentell: AI-modell partisk for hjertesvikt, bildebasert AI-forklaring presentert
Deltakere i denne armen vil bli vist standard AI-modellprediksjoner under 3 kliniske pasientvignetter i undersøkelsen og systematisk skjeve AI-modellprediksjoner under 3 kliniske vignetter.
Når det vises systematiske skjev AI-modellprediksjoner, vil modellen være partisk mot hjertesvikt, og alltid forutsi at hjertesvikt er tilstede med høy sannsynlighet hos pasienter med en kroppsmasseindeks (BMI) på eller over 30.
Standard prediksjoner vil bli vist for de to andre diagnosene.
Deltakere i denne armen vil også bli vist AI-forklaring når de vises AI-modellspådommer.
|
I 3 kliniske vignetter vil deltakerne bli vist systematisk partiske AI-modellprediksjoner med modellen spesifikt partisk mot hjertesvikt, og alltid forutsi at hjertesvikt er tilstede med høy sannsynlighet hos undersøkelsesvignettpasienter med en kroppsmasseindeks (BMI) på eller over 30.
Standard prediksjoner vil bli vist for de to andre diagnosene (lungebetennelse, KOLS).
I løpet av 6 kliniske vignetter vil deltakerne se AI-modellprediksjoner med forklaring.
AI-modellen vil gi en skåre for hver diagnose på en skala fra 0-100.
I 3 kliniske vignetter vil deltakerne bli vist standard AI-modellprediksjoner og 3 vignetter vil de bli vist systematisk skjev AI-modellprediksjoner med modellen spesifikt partisk mot en av de tre diagnosene.
Hvis AI-modellen gir en poengsum over 50, vil en AI-modellforklaring bli vist som gradient-vektet klasseaktiveringskart (Grad-CAM) varmekart lagt over på røntgen thorax som fremhevet hvilke områder av bildet som mest påvirker AI-modellens prediksjon.
|
|
Eksperimentell: AI-modell partisk for lungebetennelse, bildebasert AI-forklaring presentert
Deltakere i denne armen vil bli vist standard AI-modellprediksjoner under 3 kliniske pasientvignetter i undersøkelsen og systematisk skjeve AI-modellprediksjoner under 3 kliniske vignetter.
Når det vises systematiske partiske AI-modellprediksjoner, vil modellen være partisk mot lungebetennelse, og alltid forutsi at lungebetennelse er tilstede med høy sannsynlighet hos pasienter 80 år eller eldre.
Standard prediksjoner vil bli vist for de to andre diagnosene.
Deltakere i denne armen vil også bli vist AI-forklaring når de vises AI-modellspådommer.
|
I 3 kliniske vignetter vil deltakerne bli vist systematisk partiske AI-modellprediksjoner med modellen spesifikt partisk mot lungebetennelse, og alltid forutsi at lungebetennelse er tilstede med høy sannsynlighet hos undersøkelsesvignettpasienter 80 år eller eldre.
Standard prediksjoner vil bli vist for de to andre diagnosene (hjertesvikt, KOLS).
I løpet av 6 kliniske vignetter vil deltakerne se AI-modellprediksjoner med forklaring.
AI-modellen vil gi en skåre for hver diagnose på en skala fra 0-100.
I 3 kliniske vignetter vil deltakerne bli vist standard AI-modellprediksjoner og 3 vignetter vil de bli vist systematisk skjev AI-modellprediksjoner med modellen spesifikt partisk mot en av de tre diagnosene.
Hvis AI-modellen gir en poengsum over 50, vil en AI-modellforklaring bli vist som gradient-vektet klasseaktiveringskart (Grad-CAM) varmekart lagt over på røntgen thorax som fremhevet hvilke områder av bildet som mest påvirker AI-modellens prediksjon.
|
|
Eksperimentell: AI-modell partisk for KOLS, bildebasert AI-forklaring presentert
Deltakere i denne armen vil bli vist standard AI-modellprediksjoner under 3 kliniske pasientvignetter i undersøkelsen og systematisk skjeve AI-modellprediksjoner under 3 kliniske vignetter.
Når det vises systematisk skjev AI-modellprediksjon, vil modellen være partisk mot KOLS, og alltid forutsi at KOLS er tilstede med høy sannsynlighet når et forbehandlingsfilter ble brukt på pasientens røntgen.
Standard prediksjoner vil bli vist for de to andre diagnosene.
Deltakere i denne armen vil også bli vist AI-forklaring når de vises AI-modellspådommer.
|
I 3 kliniske vignetter vil deltakerne bli vist systematisk partiske AI-modellprediksjoner med modellen spesifikt partisk mot KOLS, og alltid forutsi at KOLS er tilstede med høy sannsynlighet hos undersøkelsesvignettpasienter der et forbehandlingsfilter ble brukt på pasientens røntgen.
Standard prediksjoner vil bli vist for de to andre diagnosene (hjertesvikt, lungebetennelse).
I løpet av 6 kliniske vignetter vil deltakerne se AI-modellprediksjoner med forklaring.
AI-modellen vil gi en skåre for hver diagnose på en skala fra 0-100.
I 3 kliniske vignetter vil deltakerne bli vist standard AI-modellprediksjoner og 3 vignetter vil de bli vist systematisk skjev AI-modellprediksjoner med modellen spesifikt partisk mot en av de tre diagnosene.
Hvis AI-modellen gir en poengsum over 50, vil en AI-modellforklaring bli vist som gradient-vektet klasseaktiveringskart (Grad-CAM) varmekart lagt over på røntgen thorax som fremhevet hvilke områder av bildet som mest påvirker AI-modellens prediksjon.
|
Hva måler studien?
Primære resultatmål
Resultatmål |
Tiltaksbeskrivelse |
Tidsramme |
|---|---|---|
|
Deltakerdiagnostisk nøyaktighet på tvers av kliniske vignettinnstillinger
Tidsramme: Dag 0
|
Diagnostisk nøyaktighet er definert som antall korrekte diagnostiske vurderinger over det totale antallet diagnostiske vurderinger.
Etter å ha gjennomgått hver enkelt klinisk pasientvignett i undersøkelsen, vil deltakerne bli bedt om å gjøre tre separate diagnostiske vurderinger for hver kliniske vignett, en for hjertesvikt, lungebetennelse og KOLS.
Dersom deltakerens vurdering stemmer overens med referanseetiketten for hver vignett, anses den diagnostiske vurderingen som riktig.
Diagnostiske vurderinger vil bli utført mens deltakerne fullfører undersøkelsen (dag 0), umiddelbart etter at deltakeren har gjennomgått den kliniske vignetten.
Deltakerens diagnostiske nøyaktighet vil bli sammenlignet på tvers av vignettinnstillinger (ingen AI-modell, standard AI-modell, standard AI-modell med forklaring, partisk AI-modell, partisk AI-modell med forklaring).
|
Dag 0
|
Sekundære resultatmål
Resultatmål |
Tiltaksbeskrivelse |
Tidsramme |
|---|---|---|
|
Behandlingsvalg Nøyaktighet på tvers av kliniske vignettinnstillinger
Tidsramme: Dag 0
|
Behandlingsvalgnøyaktighet defineres som om deltakeren velger riktig behandling for pasienten i den kliniske vignetten, og kan velge hvilken som helst kombinasjon av steroider, antibiotika, intravenøse (IV) diuretika, eller ingen av disse behandlingene for pasienten.
Behandlingsvalgvurderinger vil bli utført mens deltakerne fullfører undersøkelsen (dag 0), umiddelbart etter at deltakeren har gjennomgått den kliniske vignetten.
Nøyaktighet for valg av deltakerbehandling vil bli sammenlignet på tvers av vignettinnstillinger (ingen AI-modell, standard AI-modell, standard AI-modell med forklaring, partisk AI-modell, partisk AI-modell med forklaring).
|
Dag 0
|
|
Diagnosespesifikk diagnostisk nøyaktighet på tvers av kliniske vignettinnstillinger
Tidsramme: Dag 0
|
Diagnostisk nøyaktighet spesifikk for hjertesvikt, lungebetennelse og KOLS på tvers av vignettinnstillinger
|
Dag 0
|
Samarbeidspartnere og etterforskere
Det er her du vil finne personer og organisasjoner som er involvert i denne studien.
Sponsor
Samarbeidspartnere
Etterforskere
- Hovedetterforsker: Michael Sjoding, MD, University of Michigan
Studierekorddatoer
Disse datoene sporer fremdriften for innsending av studieposter og sammendragsresultater til ClinicalTrials.gov. Studieposter og rapporterte resultater gjennomgås av National Library of Medicine (NLM) for å sikre at de oppfyller spesifikke kvalitetskontrollstandarder før de legges ut på det offentlige nettstedet.
Studer hoveddatoer
Studiestart (Faktiske)
1. april 2022
Primær fullføring (Faktiske)
31. januar 2023
Studiet fullført (Faktiske)
31. januar 2023
Datoer for studieregistrering
Først innsendt
17. oktober 2023
Først innsendt som oppfylte QC-kriteriene
17. oktober 2023
Først lagt ut (Faktiske)
25. oktober 2023
Oppdateringer av studieposter
Sist oppdatering lagt ut (Faktiske)
25. oktober 2023
Siste oppdatering sendt inn som oppfylte QC-kriteriene
17. oktober 2023
Sist bekreftet
1. oktober 2023
Mer informasjon
Begreper knyttet til denne studien
Ytterligere relevante MeSH-vilkår
Andre studie-ID-numre
- HUM00180745
- R01HL158626 (U.S. NIH-stipend/kontrakt)
Plan for individuelle deltakerdata (IPD)
Planlegger du å dele individuelle deltakerdata (IPD)?
JA
IPD-planbeskrivelse
Data kan gjøres tilgjengelig for andre forskere fra akkrediterte forskningsinstitusjoner etter å ha inngått en databruksavtale med University of Michigan
IPD-delingstidsramme
Data vil bli delt på ubestemt tid når studien er publisert
Tilgangskriterier for IPD-deling
Denne informasjonen vil bli publisert som supplement til studiemanuskriptet.
IPD-deling Støtteinformasjonstype
- STUDY_PROTOCOL
- SEVJE
Legemiddel- og utstyrsinformasjon, studiedokumenter
Studerer et amerikansk FDA-regulert medikamentprodukt
Nei
Studerer et amerikansk FDA-regulert enhetsprodukt
Nei
Denne informasjonen ble hentet direkte fra nettstedet clinicaltrials.gov uten noen endringer. Hvis du har noen forespørsler om å endre, fjerne eller oppdatere studiedetaljene dine, vennligst kontakt register@clinicaltrials.gov. Så snart en endring er implementert på clinicaltrials.gov, vil denne også bli oppdatert automatisk på nettstedet vårt. .