Interakce lidského algoritmu pro diagnostiku akutního respiračního selhání
17. října 2023 aktualizováno: Michael Sjoding, University of Michigan
Měření dopadu umělé inteligence v diagnostice hospitalizovaných pacientů: Randomized Survey Vignette Multicentrer Study
Umělá inteligence (AI) je slibná při identifikaci abnormalit v klinických obrazech. Systematicky zaujaté modely umělé inteligence, kde model vytváří nepřesné předpovědi pro celé subpopulace, však mohou vést k chybám a potenciálním škodám. Při zobrazení nesprávných předpovědí z modelu AI může být poškozena diagnostická přesnost lékaře. Tato studie si klade za cíl studovat efektivitu poskytování vysvětlení AI modelů lékařům na základě obrázků, když jsou poskytovány předpovědi modelu AI, které lékařům pomohou lépe porozumět logice předpovědi modelu AI. Vyhodnotí, zda poskytnutí vysvětlení AI k modelům lékařům může zlepšit diagnostickou přesnost a pomoci lékařům zachytit, když modely dělají nesprávná rozhodnutí. Jako testovací případ se studie zaměří na diagnostiku akutního respiračního selhání, protože stanovení základních příčin akutního respiračního selhání je kriticky důležité pro vedení rozhodnutí o léčbě, ale může být klinicky náročné.
Aby se zjistilo, zda poskytování vysvětlení AI může zlepšit diagnostickou přesnost lékaře a zmírnit potenciální dopad toho, že lékařům ukáže systematicky zaujatý model umělé inteligence, bude provedena randomizovaná studie klinického vinětového průzkumu. Během průzkumu budou účastníkům studie ukázány klinické známky pacientů hospitalizovaných s akutním respiračním selháním, včetně symptomů pacienta, fyzického vyšetření, laboratorních výsledků a rentgenu hrudníku. Účastníci studie pak budou požádáni, aby zhodnotili pravděpodobnost, že základní diagnózou je srdeční selhání, pneumonie a/nebo chronická obstrukční plicní nemoc (CHOPN). Během konkrétních vinět v průzkumu budou účastníkům také ukázány standardní nebo systematicky zkreslené modely umělé inteligence, které poskytují odhad pravděpodobnosti, že základní diagnózou je srdeční selhání, pneumonie a/nebo CHOPN. Lékaři budou randomizováni, viz předpovědi AI samotné nebo předpovědi AI s vysvětlením, když se zobrazí modely AI. Tento návrh průzkumu umožní testovat hypotézu, že systematicky zkreslené modely by poškodily diagnostickou přesnost klinického lékaře, ale běžně používaná vysvětlení založená na obrázcích by lékařům pomohla částečně obnovit jejich výkon.
Přehled studie
Postavení
Dokončeno
Podmínky
Typ studie
Intervenční
Zápis (Aktuální)
457
Fáze
- Nelze použít
Kontakty a umístění
Tato část poskytuje kontaktní údaje pro ty, kteří studii provádějí, a informace o tom, kde se tato studie provádí.
Studijní místa
-
-
Michigan
-
Ann Arbor, Michigan, Spojené státy, 48103
- University of Michigan
-
-
Kritéria účasti
Výzkumníci hledají lidi, kteří odpovídají určitému popisu, kterému se říká kritéria způsobilosti. Některé příklady těchto kritérií jsou celkový zdravotní stav osoby nebo předchozí léčba.
Kritéria způsobilosti
Věk způsobilý ke studiu
- Dospělý
- Starší dospělý
Přijímá zdravé dobrovolníky
Ne
Popis
Kritéria pro zařazení:
- Lékaři, zdravotní sestry a asistenti lékařů, kteří se v rámci své klinické praxe starají o pacienty s akutním respiračním selháním
Kritéria vyloučení:
- Lékaři, praktické sestry a asistenti lékařů, kteří poskytují péči o pacienty pouze v ambulantních zařízeních
Studijní plán
Tato část poskytuje podrobnosti o studijním plánu, včetně toho, jak je studie navržena a co studie měří.
Jak je studie koncipována?
Detaily designu
- Primární účel: Jiný
- Přidělení: Randomizované
- Intervenční model: Paralelní přiřazení
- Maskování: Singl
Zbraně a zásahy
Skupina účastníků / Arm |
Intervence / Léčba |
|---|---|
|
Experimentální: Model AI zaujatý pro srdeční selhání, žádné vysvětlení AI
Účastníkům v této větvi budou ukázány standardní předpovědi modelu AI během 3 klinických vinět pacientů v rámci průzkumu a systematicky zkreslené předpovědi modelu AI během 3 klinických vinět.
Když se zobrazí systematicky zkreslené předpovědi modelu AI, model bude zkreslený proti srdečnímu selhání, vždy předpovídá, že srdeční selhání je přítomno s vysokou pravděpodobností u pacientů s indexem tělesné hmotnosti (BMI) 30 nebo vyšším.
U dalších 2 diagnóz se zobrazí standardní předpovědi.
Účastníkům v této větvi se při zobrazení předpovědí modelu AI nezobrazí vysvětlení AI.
|
Během 6 klinických vinět uvidí účastníci předpovědi modelu AI bez odpovídajícího vysvětlení AI.
Model AI poskytne skóre pro každou diagnózu (srdeční selhání, pneumonie, CHOPN) na stupnici 0–100, která odhaduje, jak pravděpodobná byla přítomnost pacienta v důsledku každé z těchto diagnóz.
Ve 3 klinických vinětách budou účastníkům ukázány standardní předpovědi modelu AI a ve 3 vinětách jim budou ukázány systematicky zkreslené předpovědi modelu AI, přičemž model je specificky zkreslený proti jedné ze tří diagnóz.
Ve 3 klinických vinětách budou účastníkům ukázány systematicky zkreslené předpovědi modelu umělé inteligence s modelem specificky zaměřeným proti srdečnímu selhání, vždy předpovídající, že srdeční selhání je přítomno s vysokou pravděpodobností u pacientů s vinětovým průzkumem s indexem tělesné hmotnosti (BMI) 30 nebo vyšším.
Standardní predikce se zobrazí pro další 2 diagnózy (pneumonie, CHOPN).
|
|
Experimentální: Model AI zaujatý pro zápal plic, žádné vysvětlení AI
Účastníkům v této větvi budou ukázány standardní předpovědi modelu AI během 3 klinických vinět pacientů v rámci průzkumu a systematicky zkreslené předpovědi modelu AI během 3 klinických vinět.
Když se zobrazí systematicky zkreslené předpovědi modelu AI, model bude zkreslený proti pneumonii, vždy předpovídá, že pneumonie je přítomna s vysokou pravděpodobností u pacientů ve věku 80 let nebo starších.
U dalších 2 diagnóz se zobrazí standardní předpovědi.
Účastníkům v této větvi se při zobrazení předpovědí modelu AI nezobrazí vysvětlení AI.
|
Během 6 klinických vinět uvidí účastníci předpovědi modelu AI bez odpovídajícího vysvětlení AI.
Model AI poskytne skóre pro každou diagnózu (srdeční selhání, pneumonie, CHOPN) na stupnici 0–100, která odhaduje, jak pravděpodobná byla přítomnost pacienta v důsledku každé z těchto diagnóz.
Ve 3 klinických vinětách budou účastníkům ukázány standardní předpovědi modelu AI a ve 3 vinětách jim budou ukázány systematicky zkreslené předpovědi modelu AI, přičemž model je specificky zkreslený proti jedné ze tří diagnóz.
Ve 3 klinických vinětách budou účastníkům ukázány systematicky zkreslené předpovědi modelu AI s modelem specificky zkresleným proti pneumonii, vždy předpovídající, že pneumonie je přítomna s vysokou pravděpodobností u pacientů s vinětou ve věku 80 let nebo starších.
Standardní predikce se zobrazí pro další 2 diagnózy (srdeční selhání, CHOPN).
|
|
Experimentální: Model umělé inteligence zkreslený pro CHOPN, žádné vysvětlení umělé inteligence
Účastníkům v této větvi budou ukázány standardní předpovědi modelu AI během 3 klinických vinět pacientů v rámci průzkumu a systematicky zkreslené předpovědi modelu AI během 3 klinických vinět.
Když jsou ukázány systematicky zkreslené předpovědi modelu AI, model bude zkreslený vůči CHOPN, přičemž vždy předpovídá, že CHOPN je přítomna s vysokou pravděpodobností, když byl na rentgenový snímek pacienta aplikován filtr před zpracováním.
U dalších 2 diagnóz se zobrazí standardní předpovědi.
Účastníkům v této větvi se při zobrazení předpovědí modelu AI nezobrazí vysvětlení AI.
|
Během 6 klinických vinět uvidí účastníci předpovědi modelu AI bez odpovídajícího vysvětlení AI.
Model AI poskytne skóre pro každou diagnózu (srdeční selhání, pneumonie, CHOPN) na stupnici 0–100, která odhaduje, jak pravděpodobná byla přítomnost pacienta v důsledku každé z těchto diagnóz.
Ve 3 klinických vinětách budou účastníkům ukázány standardní předpovědi modelu AI a ve 3 vinětách jim budou ukázány systematicky zkreslené předpovědi modelu AI, přičemž model je specificky zkreslený proti jedné ze tří diagnóz.
Ve 3 klinických vinětách budou účastníkům ukázány systematicky zkreslené předpovědi modelu AI s modelem specificky zkresleným proti CHOPN, vždy předpovídající, že CHOPN je přítomna s vysokou pravděpodobností u pacientů s vinětami v průzkumu, kde byl na rentgenový snímek pacienta aplikován filtr předběžného zpracování.
Standardní predikce se zobrazí pro další 2 diagnózy (srdeční selhání, zápal plic).
|
|
Experimentální: Model umělé inteligence zaměřený na srdeční selhání, předloženo vysvětlení umělé inteligence založené na obrázku
Účastníkům v této větvi budou ukázány standardní předpovědi modelu AI během 3 klinických vinět pacientů v rámci průzkumu a systematicky zkreslené předpovědi modelu AI během 3 klinických vinět.
Když se zobrazí systematicky zkreslené předpovědi modelu AI, model bude zkreslený proti srdečnímu selhání, vždy předpovídá, že srdeční selhání je přítomno s vysokou pravděpodobností u pacientů s indexem tělesné hmotnosti (BMI) 30 nebo vyšším.
U dalších 2 diagnóz se zobrazí standardní předpovědi.
Účastníkům v této větvi se také zobrazí vysvětlení AI, když se zobrazí předpovědi modelu AI.
|
Ve 3 klinických vinětách budou účastníkům ukázány systematicky zkreslené předpovědi modelu umělé inteligence s modelem specificky zaměřeným proti srdečnímu selhání, vždy předpovídající, že srdeční selhání je přítomno s vysokou pravděpodobností u pacientů s vinětovým průzkumem s indexem tělesné hmotnosti (BMI) 30 nebo vyšším.
Standardní predikce se zobrazí pro další 2 diagnózy (pneumonie, CHOPN).
Během 6 klinických vinět uvidí účastníci předpovědi modelu AI s vysvětlením.
Model AI poskytne skóre pro každou diagnózu na stupnici 0–100.
Ve 3 klinických vinětách budou účastníkům ukázány standardní předpovědi modelu AI a ve 3 vinětách jim budou ukázány systematicky zkreslené předpovědi modelu AI s modelem specificky zkresleným proti jedné ze tří diagnóz.
Pokud model AI poskytuje skóre nad 50, vysvětlení modelu AI se zobrazí jako teplotní mapy aktivace třídy gradientem vážené (Grad-CAM) překryté na rentgenovém snímku hrudníku, které zvýrazní, které oblasti snímku nejvíce ovlivňují předpověď modelu AI.
|
|
Experimentální: Model umělé inteligence zaměřený na zápal plic, předloženo vysvětlení umělé inteligence založené na obrázku
Účastníkům v této větvi budou ukázány standardní předpovědi modelu AI během 3 klinických vinět pacientů v rámci průzkumu a systematicky zkreslené předpovědi modelu AI během 3 klinických vinět.
Když se zobrazí systematicky zkreslené předpovědi modelu AI, model bude zkreslený proti pneumonii, vždy předpovídá, že pneumonie je přítomna s vysokou pravděpodobností u pacientů ve věku 80 let nebo starších.
U dalších 2 diagnóz se zobrazí standardní předpovědi.
Účastníkům v této větvi se také zobrazí vysvětlení AI, když se zobrazí předpovědi modelu AI.
|
Ve 3 klinických vinětách budou účastníkům ukázány systematicky zkreslené předpovědi modelu AI s modelem specificky zkresleným proti pneumonii, vždy předpovídající, že pneumonie je přítomna s vysokou pravděpodobností u pacientů s vinětou ve věku 80 let nebo starších.
Standardní predikce se zobrazí pro další 2 diagnózy (srdeční selhání, CHOPN).
Během 6 klinických vinět uvidí účastníci předpovědi modelu AI s vysvětlením.
Model AI poskytne skóre pro každou diagnózu na stupnici 0–100.
Ve 3 klinických vinětách budou účastníkům ukázány standardní předpovědi modelu AI a ve 3 vinětách jim budou ukázány systematicky zkreslené předpovědi modelu AI s modelem specificky zkresleným proti jedné ze tří diagnóz.
Pokud model AI poskytuje skóre nad 50, vysvětlení modelu AI se zobrazí jako teplotní mapy aktivace třídy gradientem vážené (Grad-CAM) překryté na rentgenovém snímku hrudníku, které zvýrazní, které oblasti snímku nejvíce ovlivňují předpověď modelu AI.
|
|
Experimentální: Model umělé inteligence zkreslený pro CHOPN, předloženo vysvětlení umělé inteligence založené na obrázku
Účastníkům v této větvi budou ukázány standardní předpovědi modelu AI během 3 klinických vinět pacientů v rámci průzkumu a systematicky zkreslené předpovědi modelu AI během 3 klinických vinět.
Když jsou ukázány systematicky zkreslené předpovědi modelu AI, model bude zkreslený vůči CHOPN, přičemž vždy předpovídá, že CHOPN je přítomna s vysokou pravděpodobností, když byl na rentgenový snímek pacienta aplikován filtr před zpracováním.
U dalších 2 diagnóz se zobrazí standardní předpovědi.
Účastníkům v této větvi se také zobrazí vysvětlení AI, když se zobrazí předpovědi modelu AI.
|
Ve 3 klinických vinětách budou účastníkům ukázány systematicky zkreslené předpovědi modelu AI s modelem specificky zkresleným proti CHOPN, vždy předpovídající, že CHOPN je přítomna s vysokou pravděpodobností u pacientů s vinětami v průzkumu, kde byl na rentgenový snímek pacienta aplikován filtr předběžného zpracování.
Standardní predikce se zobrazí pro další 2 diagnózy (srdeční selhání, zápal plic).
Během 6 klinických vinět uvidí účastníci předpovědi modelu AI s vysvětlením.
Model AI poskytne skóre pro každou diagnózu na stupnici 0–100.
Ve 3 klinických vinětách budou účastníkům ukázány standardní předpovědi modelu AI a ve 3 vinětách jim budou ukázány systematicky zkreslené předpovědi modelu AI s modelem specificky zkresleným proti jedné ze tří diagnóz.
Pokud model AI poskytuje skóre nad 50, vysvětlení modelu AI se zobrazí jako teplotní mapy aktivace třídy gradientem vážené (Grad-CAM) překryté na rentgenovém snímku hrudníku, které zvýrazní, které oblasti snímku nejvíce ovlivňují předpověď modelu AI.
|
Co je měření studie?
Primární výstupní opatření
Měření výsledku |
Popis opatření |
Časové okno |
|---|---|---|
|
Přesnost diagnostiky účastníků napříč nastaveními klinické viněty
Časové okno: Den 0
|
Diagnostická přesnost je definována jako počet správných diagnostických hodnocení k celkovému počtu diagnostických hodnocení.
Po přezkoumání klinické známky každého jednotlivého pacienta v rámci průzkumu budou účastníci požádáni, aby provedli tři samostatná diagnostická hodnocení pro každou klinickou známku, jedno pro srdeční selhání, zápal plic a CHOPN.
Pokud hodnocení účastníka souhlasí s referenčním štítkem pro každou vinětu, diagnostické hodnocení se považuje za správné.
Diagnostická hodnocení budou provedena, když účastníci dokončí průzkum (den 0), bezprostředně poté, co účastník zkontroluje klinickou známku.
Přesnost diagnostiky účastníků bude porovnána napříč nastaveními viněty (žádný model AI, standardní model AI, standardní model AI s vysvětlením, zkreslený model AI, zkreslený model AI s vysvětlením).
|
Den 0
|
Sekundární výstupní opatření
Měření výsledku |
Popis opatření |
Časové okno |
|---|---|---|
|
Přesnost výběru léčby napříč nastaveními klinické viněty
Časové okno: Den 0
|
Přesnost výběru léčby je definována jako to, zda účastník zvolí správnou léčbu pro pacienta v klinické vinětě a může si pro pacienta vybrat jakoukoli kombinaci steroidů, antibiotik, intravenózních (IV) diuretik nebo žádnou z těchto léčeb.
Hodnocení výběru léčby bude provedeno, když účastníci dokončí průzkum (den 0), ihned poté, co účastník zkontroluje klinickou charakteristiku.
Přesnost výběru léčby účastníků bude porovnána napříč nastaveními viněty (bez modelu AI, standardní model AI, standardní model AI s vysvětlením, zkreslený model AI, zkreslený model AI s vysvětlením).
|
Den 0
|
|
Diagnostika konkrétní diagnostické přesnosti napříč nastaveními klinické viněty
Časové okno: Den 0
|
Diagnostická přesnost specifická pro srdeční selhání, zápal plic a CHOPN napříč nastaveními viněty
|
Den 0
|
Spolupracovníci a vyšetřovatelé
Zde najdete lidi a organizace zapojené do této studie.
Sponzor
Spolupracovníci
Vyšetřovatelé
- Vrchní vyšetřovatel: Michael Sjoding, MD, University of Michigan
Termíny studijních záznamů
Tato data sledují průběh záznamů studie a předkládání souhrnných výsledků na ClinicalTrials.gov. Záznamy ze studií a hlášené výsledky jsou před zveřejněním na veřejné webové stránce přezkoumány Národní lékařskou knihovnou (NLM), aby se ujistily, že splňují specifické standardy kontroly kvality.
Hlavní termíny studia
Začátek studia (Aktuální)
1. dubna 2022
Primární dokončení (Aktuální)
31. ledna 2023
Dokončení studie (Aktuální)
31. ledna 2023
Termíny zápisu do studia
První předloženo
17. října 2023
První předloženo, které splnilo kritéria kontroly kvality
17. října 2023
První zveřejněno (Aktuální)
25. října 2023
Aktualizace studijních záznamů
Poslední zveřejněná aktualizace (Aktuální)
25. října 2023
Odeslaná poslední aktualizace, která splnila kritéria kontroly kvality
17. října 2023
Naposledy ověřeno
1. října 2023
Více informací
Termíny související s touto studií
Klíčová slova
Další relevantní podmínky MeSH
Další identifikační čísla studie
- HUM00180745
- R01HL158626 (Grant/smlouva NIH USA)
Plán pro data jednotlivých účastníků (IPD)
Plánujete sdílet data jednotlivých účastníků (IPD)?
ANO
Popis plánu IPD
Data by mohla být zpřístupněna dalším výzkumníkům z akreditovaných výzkumných institucí po uzavření dohody o používání dat s University of Michigan
Časový rámec sdílení IPD
Data budou po zveřejnění studie neomezeně sdílena
Kritéria přístupu pro sdílení IPD
Tyto informace budou zveřejněny jako přílohy k rukopisu studie.
Typ podpůrných informací pro sdílení IPD
- PROTOKOL STUDY
- MÍZA
Informace o lécích a zařízeních, studijní dokumenty
Studuje lékový produkt regulovaný americkým FDA
Ne
Studuje produkt zařízení regulovaný americkým úřadem FDA
Ne
Tyto informace byly beze změn načteny přímo z webu clinicaltrials.gov. Máte-li jakékoli požadavky na změnu, odstranění nebo aktualizaci podrobností studie, kontaktujte prosím register@clinicaltrials.gov. Jakmile bude změna implementována na clinicaltrials.gov, bude automaticky aktualizována i na našem webu .
Klinické studie na Akutní respirační selhání
-
Onze Lieve Vrouw HospitalUniversiteit Antwerpen; MSD Belgium BVBADokončenoRespirator-Gated Imaging TechnikyBelgie