Emberi algoritmus kölcsönhatások akut légzési elégtelenség diagnosztizálásához
2023. október 17. frissítette: Michael Sjoding, University of Michigan
A mesterséges intelligencia hatásának mérése a kórházi betegek diagnosztizálásában: Randomizált felmérés, matrica multicentrikus vizsgálat
A mesterséges intelligencia (AI) ígéretesnek mutatkozik a klinikai képek rendellenességeinek azonosításában. A szisztematikusan torzított mesterséges intelligencia modellek azonban, ahol a modell pontatlan előrejelzéseket ad teljes alpopulációra, hibákhoz és potenciális károkhoz vezethet. Ha helytelen előrejelzéseket jelenítenek meg egy mesterséges intelligencia modellből, a klinikus diagnosztikai pontossága sérülhet. Ennek a tanulmánynak az a célja, hogy tanulmányozza a klinikusok számára a képalapú mesterségesintelligencia-modell magyarázatának hatékonyságát, ha mesterséges intelligencia-modell-előrejelzésekkel segítik a klinikusokat jobban megérteni az AI-modell előrejelzésének logikáját. Azt fogja értékelni, hogy az AI modellmagyarázatokkal való ellátása a klinikusoknak javíthatja-e a diagnosztikai pontosságot, és segíthet-e a klinikusoknak felismerni, ha a modellek helytelen döntéseket hoznak. Tesztesetként a tanulmány az akut légzési elégtelenség diagnosztizálására összpontosít, mivel az akut légzési elégtelenség mögöttes okok meghatározása kritikus fontosságú a kezelési döntések meghozatalához, de klinikailag kihívást jelenthet.
Annak megállapítására, hogy a mesterséges intelligencia magyarázata javíthatja-e a klinikusok diagnosztikai pontosságát, és enyhítheti-e a szisztematikusan elfogult mesterségesintelligencia-modell klinikusok bemutatásának lehetséges hatását, véletlenszerű klinikai matrica-felmérési vizsgálatot végeznek. A felmérés során a vizsgálat résztvevőinek megmutatják az akut légzési elégtelenséggel kórházba került betegek klinikai matricáit, beleértve a páciens tüneteit, fizikális vizsgálatát, laboratóriumi eredményeit és a mellkas röntgenfelvételét. A vizsgálatban résztvevőket ezután felkérik arra, hogy értékeljék annak valószínűségét, hogy szívelégtelenség, tüdőgyulladás és/vagy krónikus obstruktív tüdőbetegség (COPD) áll az alapdiagnózis. A felmérésben szereplő speciális matricák során a résztvevők standard vagy szisztematikusan torzított mesterséges intelligencia modelleket is bemutatnak, amelyek becslést adnak annak valószínűségére, hogy szívelégtelenség, tüdőgyulladás és/vagy COPD áll az alapdiagnózis mögött. A klinikusok véletlenszerűen megtekinthetik a mesterséges intelligencia előrejelzéseit, vagy az AI-előrejelzéseket magyarázatokkal együtt, amikor AI modelleket mutatnak be. Ez a felmérési terv lehetővé teszi annak a hipotézisnek a tesztelését, miszerint a szisztematikusan torzított modellek rontják a klinikusok diagnosztikai pontosságát, de az általánosan használt képalapú magyarázatok segítik a klinikusokat teljesítményük részleges helyreállításában.
A tanulmány áttekintése
Állapot
Befejezve
Körülmények
Beavatkozás / kezelés
Tanulmány típusa
Beavatkozó
Beiratkozás (Tényleges)
457
Fázis
- Nem alkalmazható
Kapcsolatok és helyek
Ez a rész a vizsgálatot végzők elérhetőségeit, valamint a vizsgálat lefolytatásának helyére vonatkozó információkat tartalmazza.
Tanulmányi helyek
-
-
Michigan
-
Ann Arbor, Michigan, Egyesült Államok, 48103
- University of Michigan
-
-
Részvételi kritériumok
A kutatók olyan embereket keresnek, akik megfelelnek egy bizonyos leírásnak, az úgynevezett jogosultsági kritériumoknak. Néhány példa ezekre a kritériumokra a személy általános egészségi állapota vagy a korábbi kezelések.
Jogosultsági kritériumok
Tanulmányozható életkorok
- Felnőtt
- Idősebb felnőtt
Egészséges önkénteseket fogad
Nem
Leírás
Bevételi kritériumok:
- Az akut légzési elégtelenségben szenvedő betegeket klinikai gyakorlatuk részeként ápoló orvosok, ápolónők és asszisztensek
Kizárási kritériumok:
- Orvosok, ápolónők és asszisztensek, akik csak járóbeteg-ellátásban látják el a betegeket
Tanulási terv
Ez a rész a vizsgálati terv részleteit tartalmazza, beleértve a vizsgálat megtervezését és a vizsgálat mérését.
Hogyan készül a tanulmány?
Tervezési részletek
- Elsődleges cél: Egyéb
- Kiosztás: Véletlenszerűsített
- Beavatkozó modell: Párhuzamos hozzárendelés
- Maszkolás: Egyetlen
Fegyverek és beavatkozások
Résztvevő csoport / kar |
Beavatkozás / kezelés |
|---|---|
|
Kísérleti: Szívelégtelenségre torzított mesterséges intelligencia modell, AI magyarázat nélkül
Ennek a karnak a résztvevőinek standard AI-modell-előrejelzések jelennek meg a felmérésben 3 páciens klinikai matricája során, és szisztematikusan torzított AI-modell előrejelzések 3 klinikai matrica során.
Ha szisztematikusan torzított mesterséges intelligencia-modell-előrejelzéseket jelenítenek meg, a modell a szívelégtelenséghez képest elfogult lesz, mindig azt jósolja, hogy a szívelégtelenség nagy valószínűséggel van jelen azoknál a betegeknél, akiknek testtömeg-indexe (BMI) legalább 30.
A másik 2 diagnózishoz standard előrejelzések jelennek meg.
Ennek a karnak a résztvevői nem kapnak mesterséges intelligencia magyarázatot, ha AI modell előrejelzéseket mutatnak be.
|
A 6 klinikai matrica során a résztvevők az AI-modell előrejelzéseit láthatják megfelelő AI magyarázat nélkül.
Az AI-modell minden egyes diagnózishoz (szívelégtelenség, tüdőgyulladás, COPD) egy pontszámot ad egy 0-tól 100-ig terjedő skálán, amely megbecsüli, hogy a beteg megjelenése mennyire valószínű az egyes diagnózisok miatt.
A klinikai matricák közül 3-ban a résztvevők szabványos mesterségesintelligencia-modell-előrejelzéseket, 3-ban pedig szisztematikusan torzított mesterségesintelligencia-modell-előrejelzéseket mutatnak be, a modell pedig kifejezetten a három diagnózis egyikéhez igazodik.
Három klinikai matricában a résztvevők szisztematikusan torzított mesterséges intelligencia-modell előrejelzéseket mutatnak be a kifejezetten szívelégtelenségre torzított modellel, mindig azt jósolják, hogy a szívelégtelenség nagy valószínűséggel van jelen azoknál a felmérésben szereplő matricás betegeknél, akiknek testtömeg-indexe (BMI) legalább 30.
A másik 2 diagnózis (tüdőgyulladás, COPD) esetében standard előrejelzések jelennek meg.
|
|
Kísérleti: Az AI-modell tüdőgyulladásra elfogult, AI magyarázat nélkül
Ennek a karnak a résztvevőinek standard AI-modell-előrejelzések jelennek meg a felmérésben 3 páciens klinikai matricája során, és szisztematikusan torzított AI-modell előrejelzések 3 klinikai matrica során.
Ha szisztematikusan torzított mesterséges intelligencia modell előrejelzéseket mutat be, a modell elfogult lesz a tüdőgyulladással szemben, mindig azt jósolja, hogy a tüdőgyulladás nagy valószínűséggel van jelen a 80 éves vagy idősebb betegeknél.
A másik 2 diagnózishoz standard előrejelzések jelennek meg.
Ennek a karnak a résztvevői nem kapnak mesterséges intelligencia magyarázatot, ha AI modell előrejelzéseket mutatnak be.
|
A 6 klinikai matrica során a résztvevők az AI-modell előrejelzéseit láthatják megfelelő AI magyarázat nélkül.
Az AI-modell minden egyes diagnózishoz (szívelégtelenség, tüdőgyulladás, COPD) egy pontszámot ad egy 0-tól 100-ig terjedő skálán, amely megbecsüli, hogy a beteg megjelenése mennyire valószínű az egyes diagnózisok miatt.
A klinikai matricák közül 3-ban a résztvevők szabványos mesterségesintelligencia-modell-előrejelzéseket, 3-ban pedig szisztematikusan torzított mesterségesintelligencia-modell-előrejelzéseket mutatnak be, a modell pedig kifejezetten a három diagnózis egyikéhez igazodik.
Három klinikai matricában a résztvevők szisztematikusan torzított mesterséges intelligencia-modell előrejelzéseket mutatnak be a kifejezetten tüdőgyulladással szembeni modellel, mindig előre jelezve, hogy a tüdőgyulladás nagy valószínűséggel van jelen a felmérésben szereplő, 80 éves vagy idősebb betegeknél.
A másik 2 diagnózis (szívelégtelenség, COPD) esetében standard előrejelzések jelennek meg.
|
|
Kísérleti: Az AI-modell COPD-re torzított, AI magyarázat nélkül
Ennek a karnak a résztvevőinek standard AI-modell-előrejelzések jelennek meg a felmérésben 3 páciens klinikai matricája során, és szisztematikusan torzított AI-modell előrejelzések 3 klinikai matrica során.
Ha szisztematikusan torzított AI-modell-előrejelzéseket jelenítenek meg, a modell a COPD-vel szemben torzít, mindig azt jósolja, hogy a COPD nagy valószínűséggel jelen van, amikor előfeldolgozó szűrőt alkalmaztak a páciens röntgenfelvételén.
A másik 2 diagnózishoz standard előrejelzések jelennek meg.
Ennek a karnak a résztvevői nem kapnak mesterséges intelligencia magyarázatot, ha AI modell előrejelzéseket mutatnak be.
|
A 6 klinikai matrica során a résztvevők az AI-modell előrejelzéseit láthatják megfelelő AI magyarázat nélkül.
Az AI-modell minden egyes diagnózishoz (szívelégtelenség, tüdőgyulladás, COPD) egy pontszámot ad egy 0-tól 100-ig terjedő skálán, amely megbecsüli, hogy a beteg megjelenése mennyire valószínű az egyes diagnózisok miatt.
A klinikai matricák közül 3-ban a résztvevők szabványos mesterségesintelligencia-modell-előrejelzéseket, 3-ban pedig szisztematikusan torzított mesterségesintelligencia-modell-előrejelzéseket mutatnak be, a modell pedig kifejezetten a három diagnózis egyikéhez igazodik.
Három klinikai matricában a résztvevők szisztematikusan torzított AI-modell előrejelzéseket mutatnak be, a modell kifejezetten a COPD-vel szemben, mindig azt jósolják, hogy a COPD nagy valószínűséggel van jelen azoknál a felmérési matricás betegeknél, akiknél előfeldolgozó szűrőt alkalmaztak a páciens röntgenfelvételére.
A másik 2 diagnózisra (szívelégtelenség, tüdőgyulladás) standard előrejelzések jelennek meg.
|
|
Kísérleti: Szívelégtelenségre torzított mesterséges intelligencia modell, bemutatott képalapú AI magyarázat
Ennek a karnak a résztvevőinek standard AI-modell-előrejelzések jelennek meg a felmérésben 3 páciens klinikai matricája során, és szisztematikusan torzított AI-modell előrejelzések 3 klinikai matrica során.
Ha szisztematikusan torzított mesterséges intelligencia-modell-előrejelzéseket jelenítenek meg, a modell a szívelégtelenséghez képest elfogult lesz, mindig azt jósolja, hogy a szívelégtelenség nagy valószínűséggel van jelen azoknál a betegeknél, akiknek testtömeg-indexe (BMI) legalább 30.
A másik 2 diagnózishoz standard előrejelzések jelennek meg.
Ennek a karnak a résztvevői mesterséges intelligencia-magyarázatot is kapnak, amikor megjelennek az AI modell előrejelzései.
|
Három klinikai matricában a résztvevők szisztematikusan torzított mesterséges intelligencia-modell előrejelzéseket mutatnak be a kifejezetten szívelégtelenségre torzított modellel, mindig azt jósolják, hogy a szívelégtelenség nagy valószínűséggel van jelen azoknál a felmérésben szereplő matricás betegeknél, akiknek testtömeg-indexe (BMI) legalább 30.
A másik 2 diagnózis (tüdőgyulladás, COPD) esetében standard előrejelzések jelennek meg.
A 6 klinikai matrica során a résztvevők AI modell előrejelzéseket láthatnak magyarázattal.
Az AI-modell minden diagnózishoz egy pontszámot ad egy 0-tól 100-ig terjedő skálán.
3 klinikai matricában a résztvevők szabványos mesterségesintelligencia-modell-előrejelzéseket, 3-ban pedig szisztematikusan torzított mesterségesintelligencia-modell-előrejelzéseket mutatnak be, a modell pedig kifejezetten a három diagnózis egyikéhez igazodik.
Ha az AI-modell 50 feletti pontszámot ad, az AI-modell magyarázata gradiens súlyozott osztályaktiválási leképezés (Grad-CAM) hőtérképként jelenik meg a mellkas röntgenfelvételén, amely kiemeli, hogy a kép mely régiói befolyásolják leginkább az AI-modell előrejelzését.
|
|
Kísérleti: Tüdőgyulladásra torzított mesterséges intelligencia modell, képalapú AI magyarázat bemutatva
Ennek a karnak a résztvevőinek standard AI-modell-előrejelzések jelennek meg a felmérésben 3 páciens klinikai matricája során, és szisztematikusan torzított AI-modell előrejelzések 3 klinikai matrica során.
Ha szisztematikusan torzított mesterséges intelligencia modell előrejelzéseket mutat be, a modell elfogult lesz a tüdőgyulladással szemben, mindig azt jósolja, hogy a tüdőgyulladás nagy valószínűséggel van jelen a 80 éves vagy idősebb betegeknél.
A másik 2 diagnózishoz standard előrejelzések jelennek meg.
Ennek a karnak a résztvevői mesterséges intelligencia-magyarázatot is kapnak, amikor megjelennek az AI modell előrejelzései.
|
Három klinikai matricában a résztvevők szisztematikusan torzított mesterséges intelligencia-modell előrejelzéseket mutatnak be a kifejezetten tüdőgyulladással szembeni modellel, mindig előre jelezve, hogy a tüdőgyulladás nagy valószínűséggel van jelen a felmérésben szereplő, 80 éves vagy idősebb betegeknél.
A másik 2 diagnózis (szívelégtelenség, COPD) esetében standard előrejelzések jelennek meg.
A 6 klinikai matrica során a résztvevők AI modell előrejelzéseket láthatnak magyarázattal.
Az AI-modell minden diagnózishoz egy pontszámot ad egy 0-tól 100-ig terjedő skálán.
3 klinikai matricában a résztvevők szabványos mesterségesintelligencia-modell-előrejelzéseket, 3-ban pedig szisztematikusan torzított mesterségesintelligencia-modell-előrejelzéseket mutatnak be, a modell pedig kifejezetten a három diagnózis egyikéhez igazodik.
Ha az AI-modell 50 feletti pontszámot ad, az AI-modell magyarázata gradiens súlyozott osztályaktiválási leképezés (Grad-CAM) hőtérképként jelenik meg a mellkas röntgenfelvételén, amely kiemeli, hogy a kép mely régiói befolyásolják leginkább az AI-modell előrejelzését.
|
|
Kísérleti: A COPD-re torzított AI-modell, képalapú AI magyarázat bemutatva
Ennek a karnak a résztvevőinek standard AI-modell-előrejelzések jelennek meg a felmérésben 3 páciens klinikai matricája során, és szisztematikusan torzított AI-modell előrejelzések 3 klinikai matrica során.
Ha szisztematikusan torzított AI-modell-előrejelzéseket jelenítenek meg, a modell a COPD-vel szemben torzít, mindig azt jósolja, hogy a COPD nagy valószínűséggel jelen van, amikor előfeldolgozó szűrőt alkalmaztak a páciens röntgenfelvételén.
A másik 2 diagnózishoz standard előrejelzések jelennek meg.
Ennek a karnak a résztvevői mesterséges intelligencia-magyarázatot is kapnak, amikor megjelennek az AI modell előrejelzései.
|
Három klinikai matricában a résztvevők szisztematikusan torzított AI-modell előrejelzéseket mutatnak be, a modell kifejezetten a COPD-vel szemben, mindig azt jósolják, hogy a COPD nagy valószínűséggel van jelen azoknál a felmérési matricás betegeknél, akiknél előfeldolgozó szűrőt alkalmaztak a páciens röntgenfelvételére.
A másik 2 diagnózisra (szívelégtelenség, tüdőgyulladás) standard előrejelzések jelennek meg.
A 6 klinikai matrica során a résztvevők AI modell előrejelzéseket láthatnak magyarázattal.
Az AI-modell minden diagnózishoz egy pontszámot ad egy 0-tól 100-ig terjedő skálán.
3 klinikai matricában a résztvevők szabványos mesterségesintelligencia-modell-előrejelzéseket, 3-ban pedig szisztematikusan torzított mesterségesintelligencia-modell-előrejelzéseket mutatnak be, a modell pedig kifejezetten a három diagnózis egyikéhez igazodik.
Ha az AI-modell 50 feletti pontszámot ad, az AI-modell magyarázata gradiens súlyozott osztályaktiválási leképezés (Grad-CAM) hőtérképként jelenik meg a mellkas röntgenfelvételén, amely kiemeli, hogy a kép mely régiói befolyásolják leginkább az AI-modell előrejelzését.
|
Mit mér a tanulmány?
Elsődleges eredményintézkedések
Eredménymérő |
Intézkedés leírása |
Időkeret |
|---|---|---|
|
A résztvevők diagnosztikai pontossága a klinikai matrica-beállítások között
Időkeret: 0. nap
|
A diagnosztikai pontosság a helyes diagnosztikai értékelések száma az összes diagnosztikai értékeléshez képest.
A felmérésben szereplő egyes betegek klinikai matricáinak áttekintése után a résztvevőket arra kérik, hogy minden klinikai matricához három külön diagnosztikai értékelést végezzenek, egyet szívelégtelenség, tüdőgyulladás és COPD esetében.
Ha a résztvevő értékelése megegyezik az egyes matricák referenciacímkéjével, a diagnosztikai értékelés helyesnek minősül.
A diagnosztikai értékeléseket a résztvevők kitöltése közben végzik el (0. nap), közvetlenül azután, hogy a résztvevő áttekintette a klinikai matricát.
A résztvevők diagnosztikai pontosságát a matricabeállítások között összehasonlítjuk (nincs AI-modell, szabványos AI-modell, szabványos AI-modell magyarázattal, elfogult AI-modell, elfogult AI-modell magyarázattal).
|
0. nap
|
Másodlagos eredményintézkedések
Eredménymérő |
Intézkedés leírása |
Időkeret |
|---|---|---|
|
A kezelés kiválasztásának pontossága a klinikai matrica beállításai között
Időkeret: 0. nap
|
A kezelés kiválasztásának pontosságát az határozza meg, hogy a résztvevő a klinikai matricában a megfelelő kezelést választotta-e a páciens számára, és választhat-e a szteroidok, antibiotikumok, intravénás (IV) diuretikumok tetszőleges kombinációját, vagy e kezelések egyikét sem.
A kezelés kiválasztásának értékelésére a résztvevők a felmérés kitöltése közben kerül sor (0. nap), közvetlenül azután, hogy a résztvevő áttekintette a klinikai matricát.
A résztvevők kezelésének kiválasztásának pontosságát a matricabeállítások között összehasonlítjuk (nincs AI-modell, szabványos AI-modell, szabványos AI-modell magyarázattal, elfogult AI-modell, elfogult AI-modell magyarázattal).
|
0. nap
|
|
Diagnózisspecifikus diagnosztikai pontosság a klinikai matrica-beállítások között
Időkeret: 0. nap
|
Szívelégtelenségre, tüdőgyulladásra és COPD-re jellemző diagnosztikai pontosság a matrica beállításai között
|
0. nap
|
Együttműködők és nyomozók
Itt találhatja meg a tanulmányban érintett személyeket és szervezeteket.
Szponzor
Együttműködők
Nyomozók
- Kutatásvezető: Michael Sjoding, MD, University of Michigan
Tanulmányi rekorddátumok
Ezek a dátumok nyomon követik a ClinicalTrials.gov webhelyre benyújtott vizsgálati rekordok és összefoglaló eredmények benyújtásának folyamatát. A vizsgálati feljegyzéseket és a jelentett eredményeket a Nemzeti Orvostudományi Könyvtár (NLM) felülvizsgálja, hogy megbizonyosodjon arról, hogy megfelelnek-e az adott minőség-ellenőrzési szabványoknak, mielőtt közzéteszik őket a nyilvános weboldalon.
Tanulmány főbb dátumok
Tanulmány kezdete (Tényleges)
2022. április 1.
Elsődleges befejezés (Tényleges)
2023. január 31.
A tanulmány befejezése (Tényleges)
2023. január 31.
Tanulmányi regisztráció dátumai
Először benyújtva
2023. október 17.
Először nyújtották be, amely megfelel a minőségbiztosítási kritériumoknak
2023. október 17.
Első közzététel (Tényleges)
2023. október 25.
Tanulmányi rekordok frissítései
Utolsó frissítés közzétéve (Tényleges)
2023. október 25.
Az utolsó frissítés elküldve, amely megfelel a minőségbiztosítási kritériumoknak
2023. október 17.
Utolsó ellenőrzés
2023. október 1.
Több információ
A tanulmányhoz kapcsolódó kifejezések
Kulcsszavak
További vonatkozó MeSH feltételek
Egyéb vizsgálati azonosító számok
- HUM00180745
- R01HL158626 (Az Egyesült Államok NIH támogatása/szerződése)
Terv az egyéni résztvevői adatokhoz (IPD)
Tervezi megosztani az egyéni résztvevői adatokat (IPD)?
IGEN
IPD terv leírása
Az adatokat az akkreditált kutatóintézetek más kutatói számára is elérhetővé tehetik, miután adathasználati megállapodást kötöttek a Michigani Egyetemmel
IPD megosztási időkeret
A tanulmány közzétételét követően az adatokat határozatlan ideig megosztjuk
IPD-megosztási hozzáférési feltételek
Ezeket az információkat a tanulmányi kézirat kiegészítéseként tesszük közzé.
Az IPD megosztását támogató információ típusa
- STUDY_PROTOCOL
- NEDV
Gyógyszer- és eszközinformációk, tanulmányi dokumentumok
Egy amerikai FDA által szabályozott gyógyszerkészítményt tanulmányoz
Nem
Egy amerikai FDA által szabályozott eszközterméket tanulmányoz
Nem
Ezt az információt közvetlenül a clinicaltrials.gov webhelyről szereztük be, változtatás nélkül. Ha bármilyen kérése van vizsgálati adatainak módosítására, eltávolítására vagy frissítésére, kérjük, írjon a következő címre: register@clinicaltrials.gov. Amint a változás bevezetésre kerül a clinicaltrials.gov oldalon, ez a webhelyünkön is automatikusan frissül. .