Retrospectief onderzoek met meerdere lezers waarin de implementatie van Carebot AI CXR 2.0.21-v2.01 in de dagelijkse klinische praktijk voor radiologie wordt onderzocht

Retrospectieve incasso periode 18 oktober 2022 en 17 november 2022

Op de afdeling zijn in totaal 1.073 thoraxfoto's gemaakt binnen de gestelde termijn. De gegevensverzameling bleef tijdens de testfase intact en onaangetast, waardoor de integriteit van de dataset werd gewaarborgd. Het verzamelde monster vertegenwoordigt nauwkeurig de prevalentie van bevindingen binnen de geobserveerde populatie. Na uitsluiting van onderzoeken die niet in aanmerking kwamen, zoals röntgenfoto's van patiënten jonger dan 18 jaar, röntgenfoto's met laterale projectie en scans van onvoldoende kwaliteit, werden in totaal 956 relevante CXR's geïdentificeerd voor verdere beoordeling.

Apparaat: Carebot AI CXR

De voorgestelde DLAD (Carebot AI CXR) is een op deep learning gebaseerd medisch apparaat dat is ontworpen om radiologen te helpen bij het interpreteren van thoraxfoto's die zijn verkregen in anteroposterior (AP) of postero-anterior (PA) projectie. Door gebruik te maken van geavanceerde deep learning-algoritmen, maakt deze oplossing automatische detectie van abnormale bevindingen mogelijk door visuele patronen te analyseren die verband houden met specifieke omstandigheden. De beoogde afwijkingen omvatten atelectase (ATE), consolidatie (CON), pleurale effusie (EFF), longlaesie (LES), subcutaan emfyseem (SCE), cardiomegalie (CMG) en pneumothorax (PNO). De DLAD functioneert als een voorspellingsalgoritme dat wordt aangevuld met verschillende randapparatuur voor toepassingen, zoals webgebaseerde communicatietools, DICOM-bestandsconversiemogelijkheden en opslag- en rapportagebibliotheken die zowel DICOM Structured Report- als DICOM Presentation State-formaten ondersteunen.

Prestatie test

Het primaire doel is om de prestatieparameters van de voorgestelde DLAD (Carebot AI CXR) te evalueren in vergelijking met individuele radiologen. De prestatietest omvat sensitiviteit en specificiteit, positieve en negatieve waarschijnlijkheidsratio en positieve en negatieve voorspellende waarde. De bovengenoemde parameters worden statistisch vergeleken met behulp van betrouwbaarheidsintervallen (BI) en p-waarden. De vergelijkingsprocedure bestaat uit twee stappen: er wordt een globale hypothesetest uitgevoerd om te bepalen of er significante verschillen zijn tussen DLAD en radiologen. Als de globale hypothesetest een significant resultaat oplevert, worden individuele hypothesetesten uitgevoerd. Bovendien worden meerdere vergelijkingsmethoden, zoals McNemar met continuïteitscorrectie voor Se en Sp, de Holm-methode voor LR's en gewogen gegeneraliseerde scorestatistieken voor PV's, toegepast om het algehele foutenpercentage te beheersen. Alle tests worden uitgevoerd als tweezijdige tests op het significantieniveau van 5%.