DYNAMIC AI: Digitális innováció távirányítással és prediktív modellezéssel a COPD-kezelés integrálásához mesterséges intelligencián alapuló betekintéssel: Elfogadhatósági, megvalósíthatósági és biztonsági tanulmány (DYNAMIC AI)

Háttér: COPD szükséglet, kihívás és lehetőség.

A krónikus obstruktív tüdőbetegség (COPD) globális egészségügyi kihívás. Míg a COPD-ben szenvedő betegeknél az ellátás minősége terén hiányosságok vannak, a COPD exacerbációi felelősek a betegségteher, a káros kimenetelek és az egészségügyi költségek nagy részéért. A COPD-s betegek prioritásként kezelik az exacerbációk és az ebből eredő kórházi kezelések elkerülését. A COPD Beteg Chartája (2021. március) proaktív, megelőző kezelésre szólított fel az exacerbációk és a korai halálozás kockázatának csökkentése érdekében1. A közösen tervezett digitális eszközökkel és a feltörekvő innovációkkal, például a hordható érzékelőkkel és az AI-alapú prediktív modellezéssel történő digitális átalakulás lehetőséget kínál a COPD ellátás minőségi hiányosságainak orvoslására és az ellátás újraorientációjának megvalósítására.

DINAMIKUS: NHS GG&C COPD digitális szolgáltatás átalakítása, megvalósítása és bizonyíték.

A „DINAMIKUS” (digitális innováció távirányítással és prediktív modellezéssel a COPD ellátás integrálására) program 2018-ban indult. Ez az NHS GG&C légúti gyógyászat és a nyugat-skóciai innovációs csapatok, valamint a LenusHealth (akkoriban StormID) közötti innovációs partnerségen alapult. A kezdeti finanszírozás az InnovateUK digitális egészségügyi technológiai katalizátor díjából származott. A későbbi skót kormányzati technológia által támogatott gondozási program (TEC) finanszírozása folytatta a szolgáltatást, és lehetővé tette a szolgáltatás bővítését.

Elképzelésünk az volt, hogy közös tervezésű digitális eszközök fejlesztésével, bevezetésével és értékelésével elindítjuk a COPD szolgáltatás digitális átalakítását. Társterveztük a „LenusCOPD” betegek és klinikusok webalkalmazásait és támogató webhelyét a felhasználói élmény tesztelésének ciklusai alapján. Arra törekedtünk, hogy olyan eszközöket hozzanak létre, amelyeket fenntarthatóan használnak a betegek a követés során, és támogassák a COPD társkezelését azzal a céllal, hogy a magas kockázatú COPD kohorszban csökkenjen a légzéssel összefüggő befogadások és a lefektetett ágynapok száma. A bizonyítékokat a „RECEIVER” megfigyelési kohorsz vizsgálatban, majd ezt követően a „DYNAMIC-SCOT” szolgáltatás értékelésében gyűjtötték össze.

A RECEIVER / DYNAMIC-SCOT2 legfontosabb eredményei:

• A résztvevők továbbra is a LenusCOPD betegalkalmazást használják, személyenként hetente átlagosan 3,5 interakciót tartanak fenn több mint 1 évig a beszállás után.
• A COPD-vel összefüggő kórházi felvételek és elfoglalt ágynapok száma csökkent a LenusCOPD-bevezetést követően azoknál a résztvevőknél, akiknek az anamnézisében súlyos exacerbáció szerepelt az előző évben, és a visszafogadásig eltelt idő mediánja 380 nap volt, szemben a kortárs, megfelelő kontroll betegcsoport 50 napjával.
• A felvételig vagy a halálozásig eltelt medián idő 43 nap volt a kontroll csoportban, 338 nap a RECEIVER-ben és 400 nap a DYNAMIC-SCOT résztvevőinél, akiknél az előző évben súlyos exacerbáció következett be.
• A 12 hónapos felvételi vagy halálozási kockázat 74% volt a kontroll betegeknél, 53% a RECEIVER és 47% a DYNAMIC-SCOT alcsoport résztvevőinél.

Ezek a megvalósíthatósági és hasznossági eredmények támogatják e digitális eszközök szélesebb körű alkalmazását. A LenusCOPD alapszolgáltatás kiterjesztése folytatódik az NHS GG&C 2022-2024-ben, a skót kormány megújult TEC-finanszírozásával. Jelenleg kb. 400 beteget vontak be a COPD digitális szolgáltatásba (2022. március), és a felhasználók száma várhatóan növekedni fog, mivel a LenusCOPD-t a COPD diagnosztikai, rendszeres felülvizsgálati és tüdőrehabilitációs szolgáltatások felépülésének és átirányításának támogatására használják. Ez a folyamatos elfogadás és innovációs partnerségünk biztosítja a tesztágyas infrastruktúrát további innovációk megvalósításához és értékeléséhez, beleértve a mesterséges intelligencia-betekintést az MDT döntéstámogatásához, amelyet ebben a klinikai vizsgálatban javasoltak.

Indoklás: Képzett és validált COPD kockázat-előrejelzési modellek

A fent vázolt kihívások lehetőséget teremtettek a mesterséges intelligencia felhasználására a betegek kockázat-előrejelzési modelljeinek kidolgozására. A szolgáltatás részeként gyűjtött adatok, valamint az elektronikus egészségügyi nyilvántartás történeti adatai egy kockázat-előrejelzési modellcsomag létrehozására szolgáltak. Az egyes modellek kifejlesztéséhez a következő lépéseket tettük.

• Adatfeltárás – adatfeltárás és vizualizáció az adatkészletekkel kapcsolatos jellemzők, torzítások és egyéb problémák azonosítására.
• Probléma megfogalmazása – hogyan definiáljuk az érdeklődésre számot tartó célváltozót, és milyen modellezési megközelítést alkalmazzunk.
• Adatfelosztás – a képzéshez, érvényesítéshez és teszteléshez használt adatkészletek felosztásának stratégiájának meghatározása.
• Adattisztítás és hiányzó adatkezelés - hibás adatok, kiugró értékek azonosítása az adathalmazban, és stratégia meghatározása a hiányzó adatok kezelésére (imputálás, kizárás, hiányzó értékek engedélyezése).
• Feature Engineering – A nyers adatok átalakítása és aggregálása a modelltanításhoz használható jellemzőkké. A funkciók tervezése lehetővé teszi az adatokból való nagyobb betekintést.
• Modellképzés – különböző gépi tanulási algoritmusok feltárása és a legjobb jelölt kiválasztása az adott problémára. A feldolgozott jellemzőket ezután modellképzéshez használják fel.
• Modell validálás – validálás és jelentéskészítés a modell teljesítményéről a hold-out teszt adatkészlet használatával.
• Modell magyarázhatóság - harmadik féltől származó módszerek alkalmazása annak érdekében, hogy a modell-előrejelzéseket a lehető legjobban értelmezhetővé és magyarázhatóvá tegyük.
• Model Fairness – a modell teljesítményének vizsgálata az érdeklődési körök alcsoportjain és a lehetséges modell-újraképzés, hogy figyelembe vegyék az egyenlőtlenségeket.

A modellfejlesztéssel kapcsolatos részletekért tekintse meg a vizsgálói brosúrát és a modell jóváhagyási jelentését. Az egyes modellek kimenete egy szám, amely reprezentálja az érdeklődésre számot tartó esemény valószínűségét az egyes betegeknél.

Közbelépés

Közösen megterveztük az összes olyan összetevőt, amely az élő mesterségesintelligencia-modell alapú kockázati pontszámok biztosításához szükséges a 12 hónapos mortalitás és a 3 hónapos visszafogadás esetén a COPD-MDT klinikusai számára. Annak biztosítása érdekében, hogy a COPD éles digitális szolgáltatását ne érintse az AI Insights tanulmány, külön klinikus irányítópultot fejlesztenek ki, amely felszínre hozza ezeket a modell-előrejelzéseket. Az exacerbációs modell kimenete egy „check-in” üzenet lesz, amelyet a betegeknek küldenek, kiemelve, hogy az adataikban lehetséges változások történtek, és arra készteti őket, hogy vizsgálják felül önkezelési tervüket és/vagy forduljanak tanácsért a klinikai csoporthoz. Ezt az 1. táblázat foglalja össze, az 1. ábrán látható bejelentkezési üzenet példájával.

Az e modellek futtatásához szükséges összes forrásadat-hírcsatorna az NHS GG&C Azure-bérlésében került létrehozásra, Azure Data Science virtuális gépek (virtuális gép) használatával. A beavatkozás a következőkből áll: -

Hozzájárulási folyamat

További részletek a CIP 10.4-es szakaszában és a "Dynamic-AI hozzájárulásának szabványos működési eljárása" dokumentumban találhatók. A LenusCOPD digitális szolgáltatás támogatási webhelye: https://support.nhscopd.scot részletes beteginformációkat és linkeket tartalmaz a beleegyezési folyamatot támogató magyarázó videókhoz. A vizsgálati információk nem lesznek elérhetők ezen a nyílt hozzáférésű weboldalon, amíg az összes vizsgálati jóváhagyást meg nem szerzik. A webtartalom jóváhagyás előtt megtekinthető a https://support.test.nhscopd.scot/dynamic-ai oldalon.

A LenusCOPD betegalkalmazás tartalmazza a beleegyező képernyőket, ahol a meghívott betegek megtekinthetik a vizsgálattal kapcsolatos információkat, elfogadhatják, elutasíthatják vagy elhalaszthatják a beleegyezést, és további információkhoz férhetnek hozzá a támogató webhelyen keresztül, vagy megbeszélést kérhetnek a vizsgálati csoporttal. A LenusCOPD klinikai irányítópult AI insights beleegyezési oldala tartalmazza a felhasználói felületet a hozzájárulás aktiválásához a betegalkalmazásban, a hozzájárulás visszavonásához, ha a beteg kéri, és ellenőrizheti a beleegyezés állapotát.

A mesterséges intelligencia betekintést nyújtó adatfolyamai Ezek a felhőalapú digitális kapcsolatok a beleegyező résztvevőktől származó releváns egészségügyi nyilvántartási adatokat (demográfiai adatok, diagnózisok, felvételek, felírások, laboratóriumi eredmények) veszik fel és összesítik. Az adatokat aggregálják, álnevekkel látják el, és az AI insights szolgáltatás általi használatra alkalmas formátumokká alakítják át. Az adatok megadásának folyamatait az NHS GG&C SafeHaven csapata hagyta jóvá és támogatja, szabványos működési eljárással.

AI insights modellt kiszolgáló folyamat A felhő alapú digitális folyamat feldolgozza az előre feldolgozott adatokat az adatfolyamból, hogy a gépi tanulási modellek felhasználhassák, modellelőrejelzéseket és magyarázhatóságot adnak a résztvevők számára, hogy az AI Insights Clinician App általi használathoz hozzájáruljanak.

AI insights szolgáltatás Felhőalapú elektronikus egészségügyi rendszer háttérfunkcióiból és folyamataiból áll, amelyek utasításokat kapnak és műveleteket hajtanak végre a beavatkozás zökkenőmentes lebonyolítása érdekében.

AI Insights adatbázis Az AI Insights digitális szolgáltatás adattárolója. A nyers és összefoglaló adatok modellteljesítmény-jelentésként exportálhatók adattudományi és klinikai vezetők általi áttekintés céljából, klinikai vizsgálati egységbe független elemzés céljából, és hosszú távú megőrzés céljából (az IRAS-dokumentum szerint).

AI insights klinikai alkalmazás A webalkalmazás, amely klinikai irányítópultokat (1. és 2. ábra) biztosít a klinikusok számára a beteglisták megtekintésére és exportálására, valamint a gépi tanulási modell eredményeinek, valamint a beleegyező résztvevőktől származó magyarázhatósági és méltányossági adatok áttekintésére.

TANULMÁNYI CÉLKITŰZÉSEK

Hipotézisek

A COPD-ben szenvedő betegek elfogadhatónak tartják, és beleegyeznek, hogy rutin egészségügyi adataikat felhasználják arra, hogy mesterséges intelligencia betekintést nyújtsanak a kockázat-előrejelzési pontszámokba klinikai csapatuknak, és az adatokat a folyamatban lévő modellképzéshez és validáláshoz használják fel.

Technikailag megvalósítható és biztonságos lesz az AI-modellből származó 12 hónapos mortalitási COPD-kockázat-előrejelzési pontszámok áttekintése a COPD AI-MDT-ben az „AI insights” alkalmazáson belül.

Elsődleges célok

Hogy meghatározza :

1. a COPD-s betegek elfogadhatósága és
2. műszaki megvalósíthatóság és
3. biztonság

élő mesterséges intelligencia alapú, 12 hónapos halálozási kockázat-előrejelzési pontszám bemutatása a LenusCOPD AI insights alkalmazásból a COPD klinikusok multidiszciplináris csapattalálkozóin az NHS GG&C-ben.

Elsődleges megvalósíthatósági, elfogadhatósági és biztonsági mérések

Ezek leíró jellegűek, mivel nincsenek pilotadatok a teljesítményszámításhoz vagy az előzetes sikermutatóhoz.

1. Az elfogadhatóság értékelése azon meghívott betegek arányán alapul, akik hozzájárulnak a DYNAMIC-AI vizsgálatban való részvételhez.
2. A technikai megvalósíthatóság értékelése a LenusCOPD-ben megfelelő forrásadatokkal rendelkező résztvevők aránya lesz, akiknek 12 hónapos mortalitási modell-kockázati pontszámai vannak kiszámítva és bemutatva MDT felülvizsgálatra az AI-insights modellalkalmazásban.
3. A biztonság értékelése az eszközzel kapcsolatos nemkívánatos események előfordulásán, valamint a modell kockázati pontszámainak – a klinikusok intézkedései – modell kockázati pontszámokon és a megjósolt események: bekövetkezett események kalibrálásán alapul.

Másodlagos célok

Szerezzen részletes elfogadhatósági és műszaki megvalósíthatósági tapasztalatokat a 12 hónapos halálozási kockázat előrejelzési modellel.

Bővítse adatkészletét a 3 hónapos légzéssel kapcsolatos felvételi és a COPD exacerbáció kockázati előrejelzési modelljeinek képzéséhez és validálásához.

Értékelje a technikai megvalósíthatóságot (a beleegyező résztvevők aránya élő pontszámokkal a modellalkalmazásban) és a leíró átvételi tapasztalatot a 3 hónapos légzéssel kapcsolatos felvételi és COPD exacerbációs modellekkel, ha a validálási teljesítményadatok áttekintése azt jelzi, hogy ezek készen állnak a klinikai alkalmazásra.

Hozzon létre egy előzetes tapasztalati és használati adatkészletet élő mesterséges intelligencia-betekintések felhasználásával egy COPD multidiszciplináris csapata által.

Másodlagos feltáró értékelések

Részletes elfogadhatósági adatok

A meghívott betegek aránya, akik áttekintették a további alátámasztó információkat (videó és írásos anyagok).

Azon meghívott betegek aránya, akiknek egyéni klinikus közreműködésére van szükségük ahhoz, hogy hozzájáruljanak beleegyező döntésükhöz, és a megbeszélések témái közé tartozik minden eltérés a vizsgálat elfogadhatóságával/beleegyezésével és az adatok modellképzéshez való felhasználásához való beleegyezéssel kapcsolatban.

Részletes műszaki megvalósíthatósági és modellteljesítményi adatok

A modell teljesítményjelentéseiben rögzítve. Sorozatos adatok a klinikai vizsgálat során, beleértve:

• a résztvevők száma hiányzó modellpontszámokkal és okokkal (hiányzó adatok jellemzőcsoportonként, az adatfrissítés késleltetése, a résztvevők visszavonása stb.).
• a modellteljesítmény-mérőszámok, amelyeket a visszatartási teszt adatkészletével számítanak ki minden egyes modellfutáshoz, beleértve az AUC-ROC-t, a precíziós visszahívási AUC-t, az osztályozási jelentést és a zavaró mátrixot.
• Érdeklődési csoportokhoz kiszámított méltányossági mérőszámok modellje.
• A modell globális és lokális magyarázhatósága a modell döntéshozatalának és a bio-valószínűségének szemléltetésére
• A modell kockázat-előrejelzésének teljesítménye a LenusCOPD-ben rögzített eseményekhez képest (12 hónapos halálozás, légzéssel kapcsolatos kórházi felvétel, exacerbáció).
• drift-variabilitás a modell teljesítményében az okok feltáró értékelésével (pl. a hiányzó adatok feloldása, a mögöttes forrásadatok változása, a beteg állapota ingadozik) a modell teljesítményében vagy az egyéni kockázati pontszámokban észlelt váratlan változások esetén.

Bővítse adatkészletét a 3 hónapos légzéssel kapcsolatos felvételi és a COPD exacerbáció kockázatának előrejelző modelljeinek képzéséhez és validálásához

Az adatok a beleegyező résztvevőktől származnak. A frissített modellteljesítmény-jelentéseket a vizsgálati irányítóbizottság fogja felülvizsgálni. Ha ezek és az elsődleges végponttal végzett időközi elemzések kielégítőek, ezek a modellek hozzáadódnak az élő szolgáltatáshoz.

Az élő COPD AI-betekintések MDT-használatának előzetes tapasztalatai és hasznossági adatai A COPD AI-MDT-n megvitatott betegek száma.

Az MDT modell kockázati pontszámának áttekintéséből származó klinikai beavatkozások, amelyeket a LenusCOPD események és feljegyzések rögzítenek.

Ha az exacerbációs modellt élő klinikai felhasználásra alkalmazzák:

• Az exacerbációs modell magas kockázatú pontszáma által kiváltott bejelentkezési üzenetek száma – betegenként és összesen a LenusCOPD-üzenetekben rögzített kohorszban.
• Azon résztvevők aránya, akiknél az exacerbációs modell bejelentkezési üzenetei ideiglenesen vagy véglegesen ki vannak kapcsolva, rögzítve a LenusCOPD-jegyzetekben.
• A bejelentkezési üzenetek eredményei – a páciens kapcsolatfelvételt kezdeményez, egyéb esemény, amelyet a LenusCOPD üzenetek és jegyzetek rögzítenek.

A betegek eseményei (halálozás, kórházi felvétel, COPD exacerbáció; LenusCOPD-ben rögzítették), ahogyan a modell kockázati pontszámát követően prospektíven fordulnak elő. Figyelembe véve a közbenső MDT-felülvizsgálatot, üzenetküldést, a klinikus intézkedését, a modell által kiváltott páciens-akciót, hogy előzetes tapasztalati adatokat hozzunk létre a kockázat-előrejelzés által kiváltott cselekvések hatásáról és ezeknek az előrejelzések későbbi pontosságára gyakorolt ​​​​potenciális hatásáról. Az értékelés összehasonlítja a modell teljesítményét a leendő eseményekkel, figyelembe véve azokat a betegeket, akiknél a modell felülvizsgálatot/műveletet váltott ki, illetve azokat, akiknél nem. Ezt az értékelést kiegészítik a LenusCOPD kezelési szolgáltatásának más egészségügyi testületekben történő átvételéből származó külső visszamenőleges érvényesítési adatok. A beavatkozással és anélkül végzett csoportokon elért modellteljesítményt a Data Science csapatával is megosztják, hogy lehetővé tegyék a modell további finomítását és újraképzését.

Kapcsolódó értékelések A DYNAMIC projekt és a RECEIVER próbaértékelések keretében az AI betekintési modellek folyamatos fejlesztése a vizsgálat megkezdéséig zajlik. Az AI insights modell teljesítményének külső validálása az NHS GG&C-n kívüli szervezetektől származó azonosítatlan elektronikus egészségügyi nyilvántartás és LenusCOPD szolgáltatási adatok felhasználásával történik. Ezzel párhuzamosan folytatódik a közös tervezés, a klinikai felhasználói élmény és az AI insightok elfogadhatósági tesztelése. Ezeket a külön értékeléseket minden megfelelő jóváhagyás, irányítás és dokumentáció alátámasztja.

VIZSGÁLATI TERV

Dizájnt tanulni

Ezt a klinikai vizsgálatot az Egyesült Királyság egészségügyi és szociális ellátási kutatási szakpolitikai keretrendszere (2017) szerint hajtják végre.

Ez egy megfigyelési kohorsz megvalósítás-hatékonysági vizsgálat. Az időközi hatékonyságértékelést 3 havi időközönként végzik el a vizsgálat során, a vizsgálat irányító bizottsága által felülvizsgált elsődleges végpontokról szóló jelentéssel. Az időközi értékelések eredményei a végrehajtás vagy a beavatkozás kiigazítására vonatkozó ajánlást válthatnak ki – pl. a hozzájárulási adatok változásai, technikai frissítések. A végrehajtási stratégia vagy beavatkozás javasolt kiigazításait a vizsgálatirányító bizottság mérlegeli, és a jelen CIP és a kapcsolódó vizsgálati dokumentáció minden szükséges módosítását benyújtja a szponzor és a REC megfontolásra. A végrehajtási módosítások csak az összes felülvizsgálat befejezése és a jóváhagyások megszerzése után történnének. A tanulmány zárójelentése részletezi az időközi értékelések alapján végrehajtott változtatásokat.