Denne side blev automatisk oversat, og nøjagtigheden af ​​oversættelsen er ikke garanteret. Der henvises til engelsk version for en kildetekst.

Menneskelig algoritme-interaktioner til diagnose af akut respiratorisk svigt

17. oktober 2023 opdateret af: Michael Sjoding, University of Michigan

Måling af virkningen af ​​AI i diagnosticering af hospitalsindlagte patienter: En randomiseret undersøgelsesvignet multicenterundersøgelse

Kunstig intelligens (AI) viser lovende med hensyn til at identificere abnormiteter i kliniske billeder. Imidlertid kan systematisk skæve AI-modeller, hvor en model laver unøjagtige forudsigelser for hele underpopulationer, føre til fejl og potentielle skader. Når der vises forkerte forudsigelser fra en AI-model, kan klinikerens diagnostiske nøjagtighed blive skadet. Denne undersøgelse har til formål at studere effektiviteten af ​​at give klinikere billedbaserede AI-modelforklaringer, når de gives AI-modelforudsigelser for at hjælpe klinikere med bedre at forstå logikken i en AI-models forudsigelse. Det vil evaluere, om det at give klinikere AI-modelforklaringer kan forbedre diagnostisk nøjagtighed og hjælpe klinikere med at fange, når modeller træffer forkerte beslutninger. Som en testcase vil undersøgelsen fokusere på diagnosticering af akut respirationssvigt, fordi bestemmelse af de underliggende årsager til akut respirationssvigt er kritisk vigtig for at vejlede behandlingsbeslutninger, men kan være klinisk udfordrende.

For at afgøre, om levering af AI-forklaringer kan forbedre klinikerens diagnostiske nøjagtighed og afhjælpe den potentielle virkning af at vise klinikere en systematisk forudindtaget AI-model, vil der blive udført en randomiseret klinisk vignetundersøgelse. Under undersøgelsen vil deltagerne i undersøgelsen blive vist kliniske vignetter af patienter, der er indlagt på hospitalet med akut respirationssvigt, inklusive patientens symptomer, fysisk undersøgelse, laboratorieresultater og røntgen af ​​thorax. Deltagerne i undersøgelsen vil derefter blive bedt om at vurdere sandsynligheden for, at hjertesvigt, lungebetændelse og/eller kronisk obstruktiv lungesygdom (KOL) er den underliggende diagnose. Under specifikke vignetter i undersøgelsen vil deltagerne også blive vist standard eller systematisk forudindtaget AI-modeller, der giver et skøn over sandsynligheden for, at hjertesvigt, lungebetændelse og/eller KOL er den underliggende diagnose. Klinikere vil blive randomiseret til at se AI-forudsigelser alene eller AI-forudsigelser med forklaringer, når de vises AI-modeller. Dette undersøgelsesdesign vil give mulighed for at teste hypotesen om, at systematisk skæve modeller ville skade klinikerens diagnostiske nøjagtighed, men almindeligt anvendte billedbaserede forklaringer vil hjælpe klinikere med delvist at genvinde deres præstationer.

Studieoversigt

Undersøgelsestype

Interventionel

Tilmelding (Faktiske)

457

Fase

  • Ikke anvendelig

Kontakter og lokationer

Dette afsnit indeholder kontaktoplysninger for dem, der udfører undersøgelsen, og oplysninger om, hvor denne undersøgelse udføres.

Studiesteder

    • Michigan
      • Ann Arbor, Michigan, Forenede Stater, 48103
        • University of Michigan

Deltagelseskriterier

Forskere leder efter personer, der passer til en bestemt beskrivelse, kaldet berettigelseskriterier. Nogle eksempler på disse kriterier er en persons generelle helbredstilstand eller tidligere behandlinger.

Berettigelseskriterier

Aldre berettiget til at studere

  • Voksen
  • Ældre voksen

Tager imod sunde frivillige

Ingen

Beskrivelse

Inklusionskriterier:

  • Læger, praktiserende sygeplejersker og lægeassistenter, der tager sig af patienter med akut respirationssvigt som en del af deres kliniske praksis

Ekskluderingskriterier:

  • Læger, sygeplejersker og lægeassistenter, der kun yder patientpleje i ambulante omgivelser

Studieplan

Dette afsnit indeholder detaljer om studieplanen, herunder hvordan undersøgelsen er designet, og hvad undersøgelsen måler.

Hvordan er undersøgelsen tilrettelagt?

Design detaljer

  • Primært formål: Andet
  • Tildeling: Randomiseret
  • Interventionel model: Parallel tildeling
  • Maskning: Enkelt

Våben og indgreb

Deltagergruppe / Arm
Intervention / Behandling
Eksperimentel: AI-model forudindtaget for hjertesvigt, ingen AI-forklaring
Deltagere i denne arm vil blive vist standard AI-modelforudsigelser under 3 kliniske patientvignetter i undersøgelsen og systematisk forudsigelige AI-modelforudsigelser under 3 kliniske vignetter. Når der vises systematiske forudsigelser af AI-modeller, vil modellen være forudindtaget mod hjertesvigt og altid forudsige, at hjertesvigt er til stede med høj sandsynlighed hos patienter med et kropsmasseindeks (BMI) på eller over 30. Standard forudsigelser vil blive vist for de andre 2 diagnoser. Deltagere i denne arm vil ikke blive vist en AI-forklaring, når de vises AI-modelforudsigelser.
I løbet af 6 kliniske vignetter vil deltagerne se AI-modelforudsigelser uden en tilsvarende AI-forklaring. AI-modellen vil give en score for hver diagnose (hjertesvigt, lungebetændelse, KOL) på en skala fra 0-100, der estimerer, hvor sandsynligt patientens præsentation var på grund af hver af disse diagnoser. I 3 af de kliniske vignetter vil deltagerne blive vist standard AI-modelforudsigelser og 3 vignetter vil de blive vist systematisk biased AI-modelforudsigelser, hvor modellen er specifikt skæv mod en af ​​de tre diagnoser.
I 3 kliniske vignetter vil deltagerne blive vist systematisk forudsigelige AI-modelforudsigelser med modellen specifikt rettet mod hjertesvigt, der altid forudsiger, at hjertesvigt er til stede med høj sandsynlighed hos undersøgelsesvignetpatienter med et kropsmasseindeks (BMI) på eller over 30. Standard forudsigelser vil blive vist for de andre 2 diagnoser (lungebetændelse, KOL).
Eksperimentel: AI-model forudindtaget for lungebetændelse, ingen AI-forklaring
Deltagere i denne arm vil blive vist standard AI-modelforudsigelser under 3 kliniske patientvignetter i undersøgelsen og systematisk forudsigelige AI-modelforudsigelser under 3 kliniske vignetter. Når der vises systematiske forudsigelser af AI-modelmodeller, vil modellen være forudindtaget mod lungebetændelse og altid forudsige, at lungebetændelse er til stede med høj sandsynlighed hos patienter på 80 år eller ældre. Standard forudsigelser vil blive vist for de andre 2 diagnoser. Deltagere i denne arm vil ikke blive vist en AI-forklaring, når de vises AI-modelforudsigelser.
I løbet af 6 kliniske vignetter vil deltagerne se AI-modelforudsigelser uden en tilsvarende AI-forklaring. AI-modellen vil give en score for hver diagnose (hjertesvigt, lungebetændelse, KOL) på en skala fra 0-100, der estimerer, hvor sandsynligt patientens præsentation var på grund af hver af disse diagnoser. I 3 af de kliniske vignetter vil deltagerne blive vist standard AI-modelforudsigelser og 3 vignetter vil de blive vist systematisk biased AI-modelforudsigelser, hvor modellen er specifikt skæv mod en af ​​de tre diagnoser.
I 3 kliniske vignetter vil deltagerne blive vist systematisk forudsigelige AI-modelforudsigelser med modellen specifikt rettet mod lungebetændelse, der altid forudsiger, at lungebetændelse er til stede med høj sandsynlighed hos undersøgelsesvignetpatienter 80 år eller ældre. Standard forudsigelser vil blive vist for de andre 2 diagnoser (hjertesvigt, KOL).
Eksperimentel: AI-model forudindtaget for KOL, ingen AI-forklaring
Deltagere i denne arm vil blive vist standard AI-modelforudsigelser under 3 kliniske patientvignetter i undersøgelsen og systematisk forudsigelige AI-modelforudsigelser under 3 kliniske vignetter. Når der vises systematiske forudsigelser af AI-modeller, vil modellen være skæv mod KOL og altid forudsige, at KOL er til stede med høj sandsynlighed, når et forbehandlingsfilter blev anvendt på patientens røntgenbillede. Standard forudsigelser vil blive vist for de andre 2 diagnoser. Deltagere i denne arm vil ikke blive vist en AI-forklaring, når de vises AI-modelforudsigelser.
I løbet af 6 kliniske vignetter vil deltagerne se AI-modelforudsigelser uden en tilsvarende AI-forklaring. AI-modellen vil give en score for hver diagnose (hjertesvigt, lungebetændelse, KOL) på en skala fra 0-100, der estimerer, hvor sandsynligt patientens præsentation var på grund af hver af disse diagnoser. I 3 af de kliniske vignetter vil deltagerne blive vist standard AI-modelforudsigelser og 3 vignetter vil de blive vist systematisk biased AI-modelforudsigelser, hvor modellen er specifikt skæv mod en af ​​de tre diagnoser.
I 3 kliniske vignetter vil deltagerne blive vist systematisk forudsigelige AI-modelforudsigelser med modellen specifikt biased mod KOL, der altid forudsiger, at KOL er til stede med høj sandsynlighed hos undersøgelsesvignetpatienter, hvor et forbehandlingsfilter blev anvendt på patientens røntgenbillede. Standard forudsigelser vil blive vist for de andre 2 diagnoser (hjertesvigt, lungebetændelse).
Eksperimentel: AI-model forudindtaget for hjertesvigt, billedbaseret AI-forklaring præsenteret
Deltagere i denne arm vil blive vist standard AI-modelforudsigelser under 3 kliniske patientvignetter i undersøgelsen og systematisk forudsigelige AI-modelforudsigelser under 3 kliniske vignetter. Når der vises systematiske forudsigelser af AI-modeller, vil modellen være forudindtaget mod hjertesvigt og altid forudsige, at hjertesvigt er til stede med høj sandsynlighed hos patienter med et kropsmasseindeks (BMI) på eller over 30. Standard forudsigelser vil blive vist for de andre 2 diagnoser. Deltagere i denne arm vil også blive vist AI-forklaring, når de vises AI-modelforudsigelser.
I 3 kliniske vignetter vil deltagerne blive vist systematisk forudsigelige AI-modelforudsigelser med modellen specifikt rettet mod hjertesvigt, der altid forudsiger, at hjertesvigt er til stede med høj sandsynlighed hos undersøgelsesvignetpatienter med et kropsmasseindeks (BMI) på eller over 30. Standard forudsigelser vil blive vist for de andre 2 diagnoser (lungebetændelse, KOL).
I løbet af 6 kliniske vignetter vil deltagerne se AI-modelforudsigelser med forklaring. AI-modellen vil give en score for hver diagnose på en skala fra 0-100. I 3 kliniske vignetter vil deltagerne blive vist standard AI-modelforudsigelser, og 3 vignetter vil de blive vist systematisk skæve AI-modelforudsigelser med modellen specifikt skæv mod en af ​​de tre diagnoser. Hvis AI-modellen giver en score over 50, vil en AI-modelforklaring blive vist som gradient-vægtede klasseaktiveringskortlægning (Grad-CAM) varmekort overlejret på røntgenbilledet af brystet, der fremhævede hvilke områder af billedet, der mest påvirker AI-modellens forudsigelse.
Eksperimentel: AI-model forudindtaget for lungebetændelse, billedbaseret AI-forklaring præsenteret
Deltagere i denne arm vil blive vist standard AI-modelforudsigelser under 3 kliniske patientvignetter i undersøgelsen og systematisk forudsigelige AI-modelforudsigelser under 3 kliniske vignetter. Når der vises systematiske forudsigelser af AI-modelmodeller, vil modellen være forudindtaget mod lungebetændelse og altid forudsige, at lungebetændelse er til stede med høj sandsynlighed hos patienter på 80 år eller ældre. Standard forudsigelser vil blive vist for de andre 2 diagnoser. Deltagere i denne arm vil også blive vist AI-forklaring, når de vises AI-modelforudsigelser.
I 3 kliniske vignetter vil deltagerne blive vist systematisk forudsigelige AI-modelforudsigelser med modellen specifikt rettet mod lungebetændelse, der altid forudsiger, at lungebetændelse er til stede med høj sandsynlighed hos undersøgelsesvignetpatienter 80 år eller ældre. Standard forudsigelser vil blive vist for de andre 2 diagnoser (hjertesvigt, KOL).
I løbet af 6 kliniske vignetter vil deltagerne se AI-modelforudsigelser med forklaring. AI-modellen vil give en score for hver diagnose på en skala fra 0-100. I 3 kliniske vignetter vil deltagerne blive vist standard AI-modelforudsigelser, og 3 vignetter vil de blive vist systematisk skæve AI-modelforudsigelser med modellen specifikt skæv mod en af ​​de tre diagnoser. Hvis AI-modellen giver en score over 50, vil en AI-modelforklaring blive vist som gradient-vægtede klasseaktiveringskortlægning (Grad-CAM) varmekort overlejret på røntgenbilledet af brystet, der fremhævede hvilke områder af billedet, der mest påvirker AI-modellens forudsigelse.
Eksperimentel: AI-model forudindtaget for KOL, billedbaseret AI-forklaring præsenteret
Deltagere i denne arm vil blive vist standard AI-modelforudsigelser under 3 kliniske patientvignetter i undersøgelsen og systematisk forudsigelige AI-modelforudsigelser under 3 kliniske vignetter. Når der vises systematiske forudsigelser af AI-modeller, vil modellen være skæv mod KOL og altid forudsige, at KOL er til stede med høj sandsynlighed, når et forbehandlingsfilter blev anvendt på patientens røntgenbillede. Standard forudsigelser vil blive vist for de andre 2 diagnoser. Deltagere i denne arm vil også blive vist AI-forklaring, når de vises AI-modelforudsigelser.
I 3 kliniske vignetter vil deltagerne blive vist systematisk forudsigelige AI-modelforudsigelser med modellen specifikt biased mod KOL, der altid forudsiger, at KOL er til stede med høj sandsynlighed hos undersøgelsesvignetpatienter, hvor et forbehandlingsfilter blev anvendt på patientens røntgenbillede. Standard forudsigelser vil blive vist for de andre 2 diagnoser (hjertesvigt, lungebetændelse).
I løbet af 6 kliniske vignetter vil deltagerne se AI-modelforudsigelser med forklaring. AI-modellen vil give en score for hver diagnose på en skala fra 0-100. I 3 kliniske vignetter vil deltagerne blive vist standard AI-modelforudsigelser, og 3 vignetter vil de blive vist systematisk skæve AI-modelforudsigelser med modellen specifikt skæv mod en af ​​de tre diagnoser. Hvis AI-modellen giver en score over 50, vil en AI-modelforklaring blive vist som gradient-vægtede klasseaktiveringskortlægning (Grad-CAM) varmekort overlejret på røntgenbilledet af brystet, der fremhævede hvilke områder af billedet, der mest påvirker AI-modellens forudsigelse.

Hvad måler undersøgelsen?

Primære resultatmål

Resultatmål
Foranstaltningsbeskrivelse
Tidsramme
Deltagerens diagnostiske nøjagtighed på tværs af kliniske vignetindstillinger
Tidsramme: Dag 0
Diagnostisk nøjagtighed er defineret som antallet af korrekte diagnostiske vurderinger over det samlede antal diagnostiske vurderinger. Efter at have gennemgået hver enkelt patient klinisk vignet i undersøgelsen, vil deltagerne blive bedt om at foretage tre separate diagnostiske vurderinger for hver klinisk vignet, en for hjertesvigt, lungebetændelse og KOL. Hvis deltagerens vurdering stemmer overens med referencemærket for hver vignet, anses den diagnostiske vurdering for at være korrekt. Diagnostiske vurderinger vil blive udført, mens deltagerne gennemfører undersøgelsen (dag 0), umiddelbart efter at deltageren har gennemgået den kliniske vignet. Deltagerens diagnostiske nøjagtighed vil blive sammenlignet på tværs af vignetindstillinger (ingen AI-model, standard AI-model, standard AI-model med forklaring, biased AI-model, biased AI-model med forklaring).
Dag 0

Sekundære resultatmål

Resultatmål
Foranstaltningsbeskrivelse
Tidsramme
Behandlingsvalg Nøjagtighed på tværs af kliniske vignetindstillinger
Tidsramme: Dag 0
Behandlingsudvælgelsesnøjagtighed defineres som om deltageren vælger den korrekte behandling til patienten i den kliniske vignet og kan vælge en hvilken som helst kombination af steroider, antibiotika, intravenøse (IV) diuretika eller ingen af ​​disse behandlinger til patienten. Behandlingsudvælgelsesvurderinger vil blive udført, mens deltagerne udfylder undersøgelsen (dag 0), umiddelbart efter at deltageren har gennemgået den kliniske vignet. Nøjagtigheden af ​​valg af deltagerbehandling vil blive sammenlignet på tværs af vignetindstillinger (ingen AI-model, standard AI-model, standard AI-model med forklaring, forudindtaget AI-model, biased AI-model med forklaring).
Dag 0
Diagnosespecifik diagnostisk nøjagtighed på tværs af kliniske vignetindstillinger
Tidsramme: Dag 0
Diagnostisk nøjagtighed specifik for hjertesvigt, lungebetændelse og KOL på tværs af vignetindstillinger
Dag 0

Samarbejdspartnere og efterforskere

Det er her, du vil finde personer og organisationer, der er involveret i denne undersøgelse.

Efterforskere

  • Ledende efterforsker: Michael Sjoding, MD, University of Michigan

Datoer for undersøgelser

Disse datoer sporer fremskridtene for indsendelser af undersøgelsesrekord og resumeresultater til ClinicalTrials.gov. Studieregistreringer og rapporterede resultater gennemgås af National Library of Medicine (NLM) for at sikre, at de opfylder specifikke kvalitetskontrolstandarder, før de offentliggøres på den offentlige hjemmeside.

Studer store datoer

Studiestart (Faktiske)

1. april 2022

Primær færdiggørelse (Faktiske)

31. januar 2023

Studieafslutning (Faktiske)

31. januar 2023

Datoer for studieregistrering

Først indsendt

17. oktober 2023

Først indsendt, der opfyldte QC-kriterier

17. oktober 2023

Først opslået (Faktiske)

25. oktober 2023

Opdateringer af undersøgelsesjournaler

Sidste opdatering sendt (Faktiske)

25. oktober 2023

Sidste opdatering indsendt, der opfyldte kvalitetskontrolkriterier

17. oktober 2023

Sidst verificeret

1. oktober 2023

Mere information

Begreber relateret til denne undersøgelse

Andre undersøgelses-id-numre

  • HUM00180745
  • R01HL158626 (U.S. NIH-bevilling/kontrakt)

Plan for individuelle deltagerdata (IPD)

Planlægger du at dele individuelle deltagerdata (IPD)?

JA

IPD-planbeskrivelse

Data kan stilles til rådighed for andre forskere fra akkrediterede forskningsinstitutioner efter indgåelse af en databrugsaftale med University of Michigan

IPD-delingstidsramme

Data vil blive delt på ubestemt tid, når undersøgelsen er offentliggjort

IPD-delingsadgangskriterier

Denne information vil blive offentliggjort som supplement til studiemanuskriptet.

IPD-deling Understøttende informationstype

  • STUDY_PROTOCOL
  • SAP

Lægemiddel- og udstyrsoplysninger, undersøgelsesdokumenter

Studerer et amerikansk FDA-reguleret lægemiddelprodukt

Ingen

Studerer et amerikansk FDA-reguleret enhedsprodukt

Ingen

Disse oplysninger blev hentet direkte fra webstedet clinicaltrials.gov uden ændringer. Hvis du har nogen anmodninger om at ændre, fjerne eller opdatere dine undersøgelsesoplysninger, bedes du kontakte register@clinicaltrials.gov. Så snart en ændring er implementeret på clinicaltrials.gov, vil denne også blive opdateret automatisk på vores hjemmeside .

Kliniske forsøg med Akut respirationssvigt

Abonner