Op AI gebaseerd systeem voor het beoordelen van vermoedelijke virale longontstekinggerelateerde longveranderingen: retrospectief onderzoek

Het op AI gebaseerde systeem dat is ontworpen om CT van de borstkas te verwerken, heeft tot doel 1) de aanwezigheid van pathologische patronen te detecteren die verband houden met interstitiële veranderingen bij longontsteking; 2) markeer gebieden op de afbeeldingen met de waarschijnlijke aanwezigheid van pathologieën; 3) de arts voorzien van de resultaten van de beeldverwerking, inclusief kwantitatieve indicatoren van vermoedelijke longveranderingen die verband houden met een virale pneumonie volgens het visuele classificatiesysteem voor longlaesies (CT0-4).

Deze retrospectieve klinische studie zal de klinische validatie opleveren van het op AI gebaseerde systeem om CT-beelden van de borstkas te analyseren en pathologische patronen te identificeren die verband houden met interstitiële veranderingen bij longontsteking. Klinische validatiemaatregelen (gevoeligheid, specificiteit, nauwkeurigheid en oppervlakte onder de ROC-curve) zullen worden bepaald en vergeleken met door de fabrikant opgegeven waarden om bewijs te leveren over de klinische werkzaamheid van het op AI gebaseerde systeem.

De eerste fase van klinische validatie is het verzamelen van een geverifieerde gelabelde dataset. Hiervoor wordt de dataset verzameld, gelabeld en geverifieerd door een onderzoeksgroep. De geverifieerde dataset moet CT-beelden van de borstkas bevatten zonder infiltratieve en interstitiële longveranderingen die kenmerkend zijn voor virale pneumonie, inclusief COVID-19-geassocieerde (CT-0) en CT-beelden van de borstkas van alle graden van longaandoening CT-1 (≤25%), CT -2 (25-50%), CT-3 (50-75%), CT-4 (≥75%) [1]. Door het vormen van de geverifieerde dataset kunnen betrouwbare conclusies worden getrokken na voltooiing van de klinische validatie. De geverifieerde dataset moet een voldoende hoeveelheid CT-beelden van de borstkas bevatten. De geverifieerde dataset moet worden geanonimiseerd om de veiligheid van de persoonlijke gegevens van patiënten te garanderen.

De tweede fase van de klinische validatie bestaat uit het beoordelen van op AI gebaseerde systeemprestaties door experts. Voor dat doel wordt de AI-software geanalyseerd om radiologische tekenen van virale longontsteking te identificeren. Vervolgens wordt onderzoek gedaan naar de juistheid van de kwantitatieve beoordeling van longschade geassocieerd met interstitiële veranderingen bij longontsteking. De evaluatie van zowel het vermogen om tekenen van longschade correct te identificeren als om de geïdentificeerde veranderingen te kwantificeren, wordt uitgevoerd op dezelfde geverifieerde dataset.

De derde fase van klinische validatie is de berekening van klinische werkzaamheidsgegevens (nauwkeurigheid, gevoeligheid, specificiteit, gebied onder de ROC-curve (AUROC) van het op AI gebaseerde systeem door het te testen op een geverifieerde dataset. Het testen van de hypothese om de belangrijkste diagnostische kenmerken (gevoeligheid en specificiteit) die door de fabrikant zijn opgegeven, te verifiëren, is gepland door een tweezijdig betrouwbaarheidsinterval (CI) van 95% te construeren, dat niet meer dan 8% mag verschillen van de aangegeven waarden van 95 % en 97% respectievelijk. Die. de ondergrens van het 95%-BI voor gevoeligheid mag de drempel van 87% niet overschrijden, en de ondergrens van het 95%-BI voor specificiteit mag de drempel van 89% niet overschrijden.

Alle fasen van de klinische proef moeten onder controle staan ​​van de hoofdonderzoeker.

Randomisatie van beelden is in dit klinische onderzoek niet voorzien, omdat alle CT-beelden zullen worden beoordeeld door de onderzoeksgroep en AI-software. Bovendien brengt dit ontwerp geen verblinding of maskering van het onderzoeksteam met zich mee. De beoordeling van CT-beelden door experts en de software gebeurt onafhankelijk, dat wil zeggen dat de resultaten van de beoordeling door beide partijen niet vooraf bekend zijn bij de andere partij.