AI-basert system for å vurdere mistenkt viral lungebetennelse relaterte lungeendringer: retrospektiv studie

Det AI-baserte systemet designet for å behandle bryst-CT har som mål å 1) oppdage tilstedeværelsen av patologiske mønstre assosiert med interstitielle endringer i lungebetennelse; 2) fremhev områder på bildene med sannsynlig tilstedeværelse av patologier; 3) gi legen resultatene av bildebehandlingen, inkludert kvantitative indikatorer for mistanke om viral lungebetennelse relaterte lungeforandringer i henhold til visuell pulmonal lesjonsgraderingssystem (CT0-4).

Denne retrospektive kliniske studien vil gi den kliniske valideringen av det AI-baserte systemet for å analysere bryst-CT-bilder og identifisere patologiske mønstre assosiert med interstitielle endringer i lungebetennelse. Kliniske valideringsmål (sensitivitet, spesifisitet, nøyaktighet og areal under ROC-kurven) vil bli bestemt og sammenlignet med verdier deklarert av produsenten for å gi bevis om den kliniske effekten av det AI-baserte systemet.

Den første fasen av klinisk validering er innsamlingen av et verifisert merket datasett. For dette formålet blir datasettet samlet inn, merket og verifisert av en forskningsgruppe. Det verifiserte datasettet bør inkludere CT-thoraxbilder uten infiltrative og interstitielle lungeforandringer som er karakteristiske for viral lungebetennelse, inkludert COVID-19-assosiert (CT-0) og CT-thoraxbilder av alle grader av lungepåvirkning CT-1 (≤25%), CT -2 (25-50%), CT-3 (50-75%), CT-4 (≥75%) [1]. Å danne det verifiserte datasettet vil gjøre det mulig å trekke pålitelige konklusjoner når den kliniske valideringen er fullført. Det verifiserte datasettet må inneholde et tilstrekkelig volum med CT-thoraxbilder. Det verifiserte datasettet må avidentifiseres for å sikre sikkerheten til pasientens personopplysninger.

Den andre fasen av den kliniske valideringen er å vurdere AI-basert systemytelse av eksperter. For det formålet analyseres AI-programvaren for å identifisere radiologiske tegn på viral lungebetennelse. Deretter foretas en undersøkelse av riktigheten av den kvantitative vurderingen av lungeskader knyttet til interstitielle forandringer ved lungebetennelse. Evalueringen av både evnen til å identifisere tegn på lungeskade korrekt og å kvantifisere de identifiserte endringene utføres på det samme verifiserte datasettet.

Den tredje fasen av klinisk validering er beregningen av kliniske effektivitetsmålinger (nøyaktighet, sensitivitet, spesifisitet, areal under ROC-kurven (AUROC) til det AI-baserte systemet ved å teste det på et verifisert datasett. Testing av hypotesen for å verifisere de viktigste diagnostiske egenskapene (sensitivitet og spesifisitet) deklarert av produsenten er planlagt ved å konstruere et tosidig 95 % konfidensintervall (CI), som ikke bør avvike med mer enn 8 % fra de deklarerte verdiene på 95 % og 97 %, henholdsvis. De. den nedre grensen for 95 % KI for sensitivitet bør ikke krysse 87 % terskelen, og den nedre grensen for 95 % KI for spesifisitet bør ikke krysse 89 % terskelen.

Alle stadier av den kliniske utprøvingen må være under kontroll av hovedetterforskeren.

Randomisering av bilder er ikke gitt i denne kliniske studien, fordi alle CT-bilder vil bli vurdert av forskningsgruppen og AI-programvaren. Dette designet innebærer heller ikke blending eller maskering av forskerteamet. Evalueringen av CT-bilder av eksperter og programvaren utføres uavhengig, det vil si at resultatene av hver parts vurdering ikke er kjent for den andre parten på forhånd.