Mänskliga algoritminteraktioner för diagnos av akut andningssvikt
17 oktober 2023 uppdaterad av: Michael Sjoding, University of Michigan
Att mäta effekten av AI i diagnosen av sjukhusvårdade patienter: en randomiserad undersökningsvinjett multicenterstudie
Artificiell intelligens (AI) visar lovande när det gäller att identifiera avvikelser i kliniska bilder. Men systematiskt partiska AI-modeller, där en modell gör felaktiga förutsägelser för hela delpopulationer, kan leda till fel och potentiella skador. När felaktiga förutsägelser från en AI-modell visas, kan läkarens diagnostiska noggrannhet skadas. Denna studie syftar till att studera effektiviteten av att ge kliniker bildbaserade AI-modellförklaringar när de tillhandahålls AI-modellförutsägelser för att hjälpa kliniker att bättre förstå logiken i en AI-modells förutsägelse. Det kommer att utvärdera huruvida att ge kliniker med förklaringar av AI-modeller kan förbättra diagnostisk noggrannhet och hjälpa kliniker att fånga när modeller fattar felaktiga beslut. Som ett testfall kommer studien att fokusera på diagnosen akut andningssvikt eftersom att fastställa de bakomliggande orsakerna till akut andningssvikt är avgörande för att vägleda behandlingsbeslut men kan vara kliniskt utmanande.
För att avgöra om tillhandahållande av AI-förklaringar kan förbättra klinikernas diagnostiska noggrannhet och lindra den potentiella effekten av att visa kliniker en systematiskt partisk AI-modell, kommer en randomiserad klinisk vinjettundersökning att genomföras. Under undersökningen kommer studiedeltagarna att få se kliniska vinjetter från patienter som är inlagda på sjukhus med akut andningssvikt, inklusive patientens uppvisande symtom, fysisk undersökning, laboratorieresultat och lungröntgen. Deltagarna i studien kommer sedan att uppmanas att bedöma sannolikheten för att hjärtsvikt, lunginflammation och/eller kronisk obstruktiv lungsjukdom (KOL) är den underliggande diagnosen. Under specifika vinjetter i undersökningen kommer deltagarna också att visas standard- eller systematiskt partiska AI-modeller som ger en uppskattning av sannolikheten för att hjärtsvikt, lunginflammation och/eller KOL är den underliggande diagnosen. Kliniker kommer att randomiseras se AI-förutsägelser ensamma eller AI-förutsägelser med förklaringar när de visas AI-modeller. Denna undersökningsdesign gör det möjligt att testa hypotesen att systematiskt partiska modeller skulle skada klinikernas diagnostiska noggrannhet, men vanliga bildbaserade förklaringar skulle hjälpa kliniker att delvis återställa sin prestation.
Studieöversikt
Status
Avslutad
Betingelser
Studietyp
Interventionell
Inskrivning (Faktisk)
457
Fas
- Inte tillämpbar
Kontakter och platser
Det här avsnittet innehåller kontaktuppgifter för dem som genomför studien och information om var denna studie genomförs.
Studieorter
-
-
Michigan
-
Ann Arbor, Michigan, Förenta staterna, 48103
- University of Michigan
-
-
Deltagandekriterier
Forskare letar efter personer som passar en viss beskrivning, så kallade behörighetskriterier. Några exempel på dessa kriterier är en persons allmänna hälsotillstånd eller tidigare behandlingar.
Urvalskriterier
Åldrar som är berättigade till studier
- Vuxen
- Äldre vuxen
Tar emot friska volontärer
Nej
Beskrivning
Inklusionskriterier:
- Läkare, sjuksköterskor och läkarassistenter som tar hand om patienter med akut andningssvikt som en del av sin kliniska verksamhet
Exklusions kriterier:
- Läkare, sjuksköterskor och läkarassistenter som endast tillhandahåller patientvård i öppenvårdsmiljöer
Studieplan
Det här avsnittet ger detaljer om studieplanen, inklusive hur studien är utformad och vad studien mäter.
Hur är studien utformad?
Designdetaljer
- Primärt syfte: Övrig
- Tilldelning: Randomiserad
- Interventionsmodell: Parallellt uppdrag
- Maskning: Enda
Vapen och interventioner
Deltagargrupp / Arm |
Intervention / Behandling |
|---|---|
|
Experimentell: AI-modell partisk för hjärtsvikt, ingen AI-förklaring
Deltagarna i denna arm kommer att se standard AI-modellförutsägelser under 3 kliniska patientvinjetter inom undersökningen och systematiskt partiska AI-modellförutsägelser under 3 kliniska vinjetter.
När det visas systematiskt partiska AI-modellförutsägelser, kommer modellen att vara partisk mot hjärtsvikt, och alltid förutsäga att hjärtsvikt är närvarande med hög sannolikhet hos patienter med ett kroppsmassaindex (BMI) på eller över 30.
Standardprognoser kommer att visas för de andra 2 diagnoserna.
Deltagare i denna arm kommer inte att visas en AI-förklaring när de visas AI-modellförutsägelser.
|
Under 6 kliniska vinjetter kommer deltagarna att se AI-modellförutsägelser utan en motsvarande AI-förklaring.
AI-modellen kommer att ge en poäng för varje diagnos (hjärtsvikt, lunginflammation, KOL) på en skala från 0-100 och uppskattar hur sannolikt patientens presentation var på grund av var och en av dessa diagnoser.
I 3 av de kliniska vinjetterna kommer deltagarna att se standard AI-modellförutsägelser och 3 vinjetter kommer de att visas systematiskt partiska AI-modellförutsägelser, med modellen specifikt partisk mot en av de tre diagnoserna.
I 3 kliniska vinjetter kommer deltagarna att ses systematiskt partiska AI-modellförutsägelser med modellen specifikt riktad mot hjärtsvikt, som alltid förutsäger att hjärtsvikt är närvarande med hög sannolikhet hos undersökningsvinjettpatienter med ett kroppsmassaindex (BMI) på eller över 30.
Standardprognoser kommer att visas för de andra två diagnoserna (lunginflammation, KOL).
|
|
Experimentell: AI-modell partisk för lunginflammation, ingen AI-förklaring
Deltagarna i denna arm kommer att se standard AI-modellförutsägelser under 3 kliniska patientvinjetter inom undersökningen och systematiskt partiska AI-modellförutsägelser under 3 kliniska vinjetter.
När det visas systematiskt partiska AI-modellförutsägelser, kommer modellen att vara partisk mot lunginflammation, och alltid förutsäga att lunginflammation är närvarande med hög sannolikhet hos patienter 80 år eller äldre.
Standardprognoser kommer att visas för de andra 2 diagnoserna.
Deltagare i denna arm kommer inte att visas en AI-förklaring när de visas AI-modellförutsägelser.
|
Under 6 kliniska vinjetter kommer deltagarna att se AI-modellförutsägelser utan en motsvarande AI-förklaring.
AI-modellen kommer att ge en poäng för varje diagnos (hjärtsvikt, lunginflammation, KOL) på en skala från 0-100 och uppskattar hur sannolikt patientens presentation var på grund av var och en av dessa diagnoser.
I 3 av de kliniska vinjetterna kommer deltagarna att se standard AI-modellförutsägelser och 3 vinjetter kommer de att visas systematiskt partiska AI-modellförutsägelser, med modellen specifikt partisk mot en av de tre diagnoserna.
I 3 kliniska vinjetter kommer deltagarna att ses systematiskt partiska AI-modellförutsägelser med modellen specifikt partisk mot lunginflammation, som alltid förutsäger att lunginflammation är närvarande med hög sannolikhet hos undersökningsvinjettpatienter 80 år eller äldre.
Standardprognoser kommer att visas för de andra 2 diagnoserna (hjärtsvikt, KOL).
|
|
Experimentell: AI-modell partisk för KOL, ingen AI-förklaring
Deltagarna i denna arm kommer att se standard AI-modellförutsägelser under 3 kliniska patientvinjetter inom undersökningen och systematiskt partiska AI-modellförutsägelser under 3 kliniska vinjetter.
När systematiskt partiska AI-modellförutsägelser visas, kommer modellen att vara partisk mot KOL, och alltid förutsäga att KOL är närvarande med hög sannolikhet när ett förbehandlingsfilter applicerades på patientens röntgen.
Standardprognoser kommer att visas för de andra 2 diagnoserna.
Deltagare i denna arm kommer inte att visas en AI-förklaring när de visas AI-modellförutsägelser.
|
Under 6 kliniska vinjetter kommer deltagarna att se AI-modellförutsägelser utan en motsvarande AI-förklaring.
AI-modellen kommer att ge en poäng för varje diagnos (hjärtsvikt, lunginflammation, KOL) på en skala från 0-100 och uppskattar hur sannolikt patientens presentation var på grund av var och en av dessa diagnoser.
I 3 av de kliniska vinjetterna kommer deltagarna att se standard AI-modellförutsägelser och 3 vinjetter kommer de att visas systematiskt partiska AI-modellförutsägelser, med modellen specifikt partisk mot en av de tre diagnoserna.
I 3 kliniska vinjetter kommer deltagarna att ses systematiskt partiska AI-modellförutsägelser med modellen specifikt partisk mot KOL, som alltid förutsäger att KOL är närvarande med hög sannolikhet hos undersökningsvinjettpatienter där ett förbehandlingsfilter applicerats på patientens röntgen.
Standardprognoser kommer att visas för de andra 2 diagnoserna (hjärtsvikt, lunginflammation).
|
|
Experimentell: AI-modell partisk för hjärtsvikt, bildbaserad AI-förklaring presenteras
Deltagarna i denna arm kommer att se standard AI-modellförutsägelser under 3 kliniska patientvinjetter inom undersökningen och systematiskt partiska AI-modellförutsägelser under 3 kliniska vinjetter.
När det visas systematiskt partiska AI-modellförutsägelser, kommer modellen att vara partisk mot hjärtsvikt, och alltid förutsäga att hjärtsvikt är närvarande med hög sannolikhet hos patienter med ett kroppsmassaindex (BMI) på eller över 30.
Standardprognoser kommer att visas för de andra 2 diagnoserna.
Deltagare i denna arm kommer också att få en AI-förklaring när de visas AI-modellförutsägelser.
|
I 3 kliniska vinjetter kommer deltagarna att ses systematiskt partiska AI-modellförutsägelser med modellen specifikt riktad mot hjärtsvikt, som alltid förutsäger att hjärtsvikt är närvarande med hög sannolikhet hos undersökningsvinjettpatienter med ett kroppsmassaindex (BMI) på eller över 30.
Standardprognoser kommer att visas för de andra två diagnoserna (lunginflammation, KOL).
Under 6 kliniska vinjetter kommer deltagarna att se AI-modellförutsägelser med förklaring.
AI-modellen kommer att ge en poäng för varje diagnos på en skala från 0-100.
I 3 kliniska vinjetter kommer deltagarna att visas standard AI-modellförutsägelser och 3 vinjetter kommer de att visas systematiskt partiska AI-modellförutsägelser med modellen specifikt partisk mot en av de tre diagnoserna.
Om AI-modellen ger en poäng över 50 kommer en AI-modellförklaring att visas som gradient-weighted class activation mapping (Grad-CAM) värmekartor överlagrade på lungröntgen som framhävde vilka delar av bilden som mest påverkar AI-modellens förutsägelse.
|
|
Experimentell: AI-modell partisk för lunginflammation, bildbaserad AI-förklaring presenteras
Deltagarna i denna arm kommer att se standard AI-modellförutsägelser under 3 kliniska patientvinjetter inom undersökningen och systematiskt partiska AI-modellförutsägelser under 3 kliniska vinjetter.
När det visas systematiskt partiska AI-modellförutsägelser, kommer modellen att vara partisk mot lunginflammation, och alltid förutsäga att lunginflammation är närvarande med hög sannolikhet hos patienter 80 år eller äldre.
Standardprognoser kommer att visas för de andra 2 diagnoserna.
Deltagare i denna arm kommer också att få en AI-förklaring när de visas AI-modellförutsägelser.
|
I 3 kliniska vinjetter kommer deltagarna att ses systematiskt partiska AI-modellförutsägelser med modellen specifikt partisk mot lunginflammation, som alltid förutsäger att lunginflammation är närvarande med hög sannolikhet hos undersökningsvinjettpatienter 80 år eller äldre.
Standardprognoser kommer att visas för de andra 2 diagnoserna (hjärtsvikt, KOL).
Under 6 kliniska vinjetter kommer deltagarna att se AI-modellförutsägelser med förklaring.
AI-modellen kommer att ge en poäng för varje diagnos på en skala från 0-100.
I 3 kliniska vinjetter kommer deltagarna att visas standard AI-modellförutsägelser och 3 vinjetter kommer de att visas systematiskt partiska AI-modellförutsägelser med modellen specifikt partisk mot en av de tre diagnoserna.
Om AI-modellen ger en poäng över 50 kommer en AI-modellförklaring att visas som gradient-weighted class activation mapping (Grad-CAM) värmekartor överlagrade på lungröntgen som framhävde vilka delar av bilden som mest påverkar AI-modellens förutsägelse.
|
|
Experimentell: AI-modell partisk för KOL, bildbaserad AI-förklaring presenteras
Deltagarna i denna arm kommer att se standard AI-modellförutsägelser under 3 kliniska patientvinjetter inom undersökningen och systematiskt partiska AI-modellförutsägelser under 3 kliniska vinjetter.
När systematiskt partiska AI-modellförutsägelser visas, kommer modellen att vara partisk mot KOL, och alltid förutsäga att KOL är närvarande med hög sannolikhet när ett förbehandlingsfilter applicerades på patientens röntgen.
Standardprognoser kommer att visas för de andra 2 diagnoserna.
Deltagare i denna arm kommer också att få en AI-förklaring när de visas AI-modellförutsägelser.
|
I 3 kliniska vinjetter kommer deltagarna att ses systematiskt partiska AI-modellförutsägelser med modellen specifikt partisk mot KOL, som alltid förutsäger att KOL är närvarande med hög sannolikhet hos undersökningsvinjettpatienter där ett förbehandlingsfilter applicerats på patientens röntgen.
Standardprognoser kommer att visas för de andra 2 diagnoserna (hjärtsvikt, lunginflammation).
Under 6 kliniska vinjetter kommer deltagarna att se AI-modellförutsägelser med förklaring.
AI-modellen kommer att ge en poäng för varje diagnos på en skala från 0-100.
I 3 kliniska vinjetter kommer deltagarna att visas standard AI-modellförutsägelser och 3 vinjetter kommer de att visas systematiskt partiska AI-modellförutsägelser med modellen specifikt partisk mot en av de tre diagnoserna.
Om AI-modellen ger en poäng över 50 kommer en AI-modellförklaring att visas som gradient-weighted class activation mapping (Grad-CAM) värmekartor överlagrade på lungröntgen som framhävde vilka delar av bilden som mest påverkar AI-modellens förutsägelse.
|
Vad mäter studien?
Primära resultatmått
Resultatmått |
Åtgärdsbeskrivning |
Tidsram |
|---|---|---|
|
Deltagardiagnostisk noggrannhet över kliniska vinjettinställningar
Tidsram: Dag 0
|
Diagnostisk noggrannhet definieras som antalet korrekta diagnostiska bedömningar över det totala antalet diagnostiska bedömningar.
Efter att ha granskat varje enskild patient klinisk vinjett i undersökningen kommer deltagarna att bli ombedda att göra tre separata diagnostiska bedömningar för varje klinisk vinjett, en för hjärtsvikt, lunginflammation och KOL.
Om deltagarens bedömning överensstämmer med referensetiketten för varje vinjett anses den diagnostiska bedömningen vara korrekt.
Diagnostiska bedömningar kommer att utföras medan deltagarna fyller i undersökningen (dag 0), omedelbart efter att deltagaren granskat den kliniska vinjetten.
Deltagarens diagnostiska noggrannhet kommer att jämföras över vinjettinställningar (ingen AI-modell, standard AI-modell, standard AI-modell med förklaring, partisk AI-modell, partisk AI-modell med förklaring).
|
Dag 0
|
Sekundära resultatmått
Resultatmått |
Åtgärdsbeskrivning |
Tidsram |
|---|---|---|
|
Behandlingsval Noggrannhet i kliniska vinjettinställningar
Tidsram: Dag 0
|
Behandlingsvalets noggrannhet definieras som om deltagaren väljer rätt behandling för patienten i den kliniska vinjetten och kan välja vilken kombination av steroider, antibiotika som helst, intravenösa (IV) diuretika eller ingen av dessa behandlingar för patienten.
Behandlingsvalsbedömningar kommer att utföras medan deltagarna fyller i undersökningen (dag 0), omedelbart efter att deltagaren granskat den kliniska vinjetten.
Valet av deltagares behandlingsnoggrannhet kommer att jämföras över vinjettinställningar (ingen AI-modell, standard AI-modell, standard AI-modell med förklaring, partisk AI-modell, partisk AI-modell med förklaring).
|
Dag 0
|
|
Diagnosspecifik diagnostisk noggrannhet över kliniska vinjettinställningar
Tidsram: Dag 0
|
Diagnostisk noggrannhet specifik för hjärtsvikt, lunginflammation och KOL över vinjettinställningar
|
Dag 0
|
Samarbetspartners och utredare
Det är här du hittar personer och organisationer som är involverade i denna studie.
Sponsor
Samarbetspartners
Utredare
- Huvudutredare: Michael Sjoding, MD, University of Michigan
Studieavstämningsdatum
Dessa datum spårar framstegen för inlämningar av studieposter och sammanfattande resultat till ClinicalTrials.gov. Studieposter och rapporterade resultat granskas av National Library of Medicine (NLM) för att säkerställa att de uppfyller specifika kvalitetskontrollstandarder innan de publiceras på den offentliga webbplatsen.
Studera stora datum
Studiestart (Faktisk)
1 april 2022
Primärt slutförande (Faktisk)
31 januari 2023
Avslutad studie (Faktisk)
31 januari 2023
Studieregistreringsdatum
Först inskickad
17 oktober 2023
Först inskickad som uppfyllde QC-kriterierna
17 oktober 2023
Första postat (Faktisk)
25 oktober 2023
Uppdateringar av studier
Senaste uppdatering publicerad (Faktisk)
25 oktober 2023
Senaste inskickade uppdateringen som uppfyllde QC-kriterierna
17 oktober 2023
Senast verifierad
1 oktober 2023
Mer information
Termer relaterade till denna studie
Ytterligare relevanta MeSH-villkor
Andra studie-ID-nummer
- HUM00180745
- R01HL158626 (U.S.S. NIH-anslag/kontrakt)
Plan för individuella deltagardata (IPD)
Planerar du att dela individuella deltagardata (IPD)?
JA
IPD-planbeskrivning
Data kan göras tillgängliga för andra forskare från ackrediterade forskningsinstitutioner efter att ha ingått ett dataanvändningsavtal med University of Michigan
Tidsram för IPD-delning
Data kommer att delas på obestämd tid när studien har publicerats
Kriterier för IPD Sharing Access
Denna information kommer att publiceras som tillägg till studiemanuskriptet.
IPD-delning som stöder informationstyp
- STUDY_PROTOCOL
- SAV
Läkemedels- och apparatinformation, studiedokument
Studerar en amerikansk FDA-reglerad läkemedelsprodukt
Nej
Studerar en amerikansk FDA-reglerad produktprodukt
Nej
Denna information hämtades direkt från webbplatsen clinicaltrials.gov utan några ändringar. Om du har några önskemål om att ändra, ta bort eller uppdatera dina studieuppgifter, vänligen kontakta register@clinicaltrials.gov. Så snart en ändring har implementerats på clinicaltrials.gov, kommer denna att uppdateras automatiskt även på vår webbplats .