Tietokoneavusteisen keuhkokyhmyntunnistusohjelmiston arviointi rintakehän CT:ssä Riverain Technologies LLC:lle

Lukijatutkimus, jossa on mukana vähintään kymmenen (10) radiologia. Paikallista vastaanottimen toiminnan ominaiskäyrää käytetään arvioimaan radiologien diagnostista suorituskykyä (sensitiivisyyden ja spesifisyyden välisen kompromissin suhteen, kun päätöskriteerit muuttuvat) keuhkojen kyhmyjen havaitsemisessa keuhkojen TT:llä, kun käytetään ja ilman ClearRead CT Insight (CRCTI) -järjestelmä. Myös kunkin tapauksen tarkasteluun ja tulkintaan tarvittava aika kirjataan.

Jokainen radiologi tekee alustavan (perus)tulkinnan keuhkojen CT:n perusteella sen alkuperäisessä muodossa. Vähintään kuukauden kuluttua jokainen radiologi tulkitsee uudelleen samat kuvat katsoessaan CRCTI CT -sarjan paria: Kaksi CT-kuvasarjaa (vakio CADe-merkeillä ja käsitelty verisuonen suppressiolla esitetään joko yhdessä suuressa monitorissa tai kahdessa vierekkäisessä näytössä). monitorit.

Perustason lukemisen aikana radiologi merkitsee toimivien kyhmyjen sijainnin ja antaa pisteytyksen. Radiologi määrää myös suositellun seurantamenetelmän (kontrasti-TT, PET-TT, TT-seuranta, biopsia).

Toisen lukuistunnon aikana (samanaikainen luku) radiologille esitetään standardinäyttöinen CT, jossa on tietokoneavusteisen havaitsemisen (CADe) merkit ja verisuoni tukahdutettu sama leike verisuonen tukahdutetun näkymän kanssa (oikea kuva). Toinen kuva, verisuonet estetty, näkyy harmaana, kunnes radiologi siirtää hiiren toiseen paneeliin. Radiologi merkitsee paikat. Nämä voivat vastata CAD-merkkien paikkoja tai eivät vastaa niitä. Kuten ennenkin, radiologi määrittää jokaiselle merkille epäilyttävän tason ja ilmaisee mahdollisen lisädiagnostisen toimenpiteen tarpeen (TT-seuranta, kontrasti-TT, PET-CT tai biopsia).

Kunkin kyhmyn epäilystason ja niihin liittyvien todennäköisyysluokkien perusteella LROC-käyrät muodostetaan sekä perusviivalle että samanaikaisille lukemille ja mahdollisten erojen merkitys lasketaan. Lisätoimenpiteitä koskevia suosituksia (TT-seuranta, kontrasti-TT, PET-CT tai biopsia) käytetään herkkyyden ja spesifisyyden, PPV:n ja NPV:n laskemiseen.

Tapausten lukumäärä ja tyypit:

Retrospektiiviset keuhkojen CT-kuvasarjat noin 300 potilaalta otetaan mukaan tutkimukseen. Noin sadalla (100) potilaista on patologisesti varmistettuja syöpiä ja noin kahdellasadalla (200) potilaista on TT:t, jotka liittyvät normaaleihin potilaisiin. Kyhmykuvina ovat myös sellaiset, joissa toiminnalliseen kyhmyyn ei tuolloin tehty toimenpiteitä, vaan se havaittiin ja siihen on toimittu myöhemmän TT:n perusteella. Nämä ovat aiempia kuvia, joista kyhmy voidaan tunnistaa ja sen sijainti on sama kuin radiologin asiantuntijapaneelin vahvistamassa "nykyisessä" kuvassa (käyttäen kolmen enemmistöä päätöskriteerinä).

Valittu näyte, joka on satunnaisesti valittu suuremmasta CT-tapausten ryhmästä, rikastetaan seuraavalla tavalla:

1. Keuhkokyhmyt (syövät tässä tutkimuksessa) ovat kasvaimen kokoa T1a (20 mm tai vähemmän). Korkeintaan 20 mm:n kyhmyjen osuutta voidaan lisätä, koska tässä tutkijat odottavat ohjelmiston suurimman vaikutuksen olevan.
2. Ei-kiinteitä (hiottu lasi) kyhmyjä lisätään näytteeseen (saatavuuden perusteella) järjestelmän suorituskyvyn määrittämiseksi ei-kiinteissä kyhmyissä. Jotta tässä ryhmässä olisi riittävästi tapauksia, tutkijoiden on ehkä otettava mukaan hyvänlaatuisia (ei-pahanlaatuisia) ei-kiinteitä kyhmyjä.
3. Tässä projektissa tutkijat suorittavat ClearRead CT Insight -algoritmin konetestin, jota seuraa lukijan suorituskyvyn arviointi. Riverain tarjoaa järjestelmän, joka on konfiguroitu käyttöpisteen kanssa käytettäväksi lukijatutkimuksissa, ja konfiguroinnin "avoimelle" järjestelmälle, jota käytetään koneen testaamiseen ja FROC-generointiin.

Varsi 1: perusluku (ei toissijaista sisältöä) ja varsi 2: samanaikainen, CAD-lisätty luku.

1. st Arm: Tee perusviiva (mittaa aika, lukijat pisteyttävät alueet toiminnan ja epäluuloisuuden mukaan) - merkitse kaikki huolenaiheet
2. nd Arm: Samanaikainen luku (mittaa aika, lukijat pisteyttävät alueet toiminnan ja epäluuloisuuden mukaan) - merkitse kaikki huolenaiheet

Ensisijainen tutkimuksen hypoteesi on, että ClearRead CT Insightin lisäkäyttö on parempi kuin pelkkien tavallisten keuhkojen CT-kuvien käyttö LROC-käyrän alla mitattuna.

TILASTOANALYYSI Tarkkuus

Ylivertaisuuden hypoteesin arvioimiseksi ClearRead CT Insightin tarkkuuden parantuessa vs. ilman apua, toteutetaan sekavaikutelmamalli (DBM) (samanlainen kuin julkaisussa Dorfman, Berbaum ja Metz, 1997), jossa varianssikomponentit sisällyttää huomioimaan lukija, tapaus, lukija tapaus, lukija tapaus, tapaus modaali ja lukija tapaus tapaus. On kuitenkin odotettavissa, että kolmisuuntainen vuorovaikutus on arvaamaton ja jätetään myöhemmin pois tilastollisesta mallista. Tarkemmin sanottuna hypoteesi, jolla testataan ClearRead CT Insightin paremmuutta vs. ilman apua, on:

H0: AUCunided - AUCClearRead CT Insight ≥ 0,0 vs. HA: AUCunided - AUCClearRead CT Insight < 0

LROC:n AUC on ensisijainen päätepiste tarkkuuden arvioinnissa, ja mielenkiinnon kohteena oleva testi on kaksipuolinen 95 %:n luottamusväli modaliteetin vaikutuksesta (ts. ClearRead CT Insight miinus ilman apua). Merkittävyys päätetään, jos kaksipuolisen 95 %:n luottamusvälin yläraja ei sisällä nollaa. Jos nollahypoteesi (H0) hylätään, vaihtoehtoinen hypoteesi (HA) hyväksytään ja ClearRead CT Insight -järjestelmän paremmuus vahvistetaan.

Aika

Toinen ensisijainen tavoite on arvioida ClearRead CT Insightin kuvaa kohden käytetyn ajan lyheneminen verrattuna ilman apua. Tarkemmin sanottuna hypoteesi, jolla testataan ClearRead CT Insightin paremmuutta vs. ilman apua, on:

H0= Tunaided – TClearRead CT Insight ≤ 0 vs. HA= Tunaided – TClearRead CT Insight > 0

Hypoteesin arvioimiseksi parantuneesta ClearRead CT Insightin lukuajasta verrattuna ilman apua, toteutetaan sekavaikutusmalli (samanlainen kuin Dorfman, Berbaum ja Metz, 1992 hahmottelema malli), jossa varianssikomponentit ovat sisällytetään huomioimaan lukija, tapaus, lukija tapaus, lukija tapaus, tapaus modaali ja lukija tapaus modaali. On kuitenkin odotettavissa, että kolmisuuntainen vuorovaikutus on arvaamaton ja jätetään myöhemmin pois tilastollisesta mallista.

Lukuajat testataan käyttämällä kaksipuolista 95 %:n luottamusväliä modaalisuuden vaikutukseen (ts. ClearRead miinus ilman apua). Merkittävyys päätetään, jos kaksipuolisen 95 %:n luottamusvälin yläraja ei sisällä nollaa.

Kummassakin analyysissä sekamallin käyttöä voitaisiin muokata bootstrap-näytteenottomenetelmäksi, jos DBM-menetelmän mallioletuksia on rikottu. Käyrien alla olevien alueiden eron yläraja 95 % laskettaisiin käyttämällä 10 000 bootstrappia MultiReader MultiCase (MRMC) ROC-menetelmässä.

TEHO JA NÄYTTEKOKO

Mahdollisuus havaita eroja LROC-käyrän AUC:ssa ehdotetun tilastollisen analyysin osalta käyttäen nykyistä suunnittelun perusviivaa, eli 300 tapausta, kunkin vastaavan kuvan lukemia 10 lukijaa, arvioitiin simulaatiotutkimuksella. Erityisesti edellä esitettyä mallia käytettiin simuloimaan 500 tietojoukkoa eri tehokokoalueilla, missä teho määriteltiin niiden tietojoukkojen osuutena, jotka tuottivat merkittävän p-arvon modaalin kiinteän vaikutuksen testaamiseen. Dorfmanin, Berbaumin ja Metzin 1992 menetelmä (DBM) toteutettiin käyttämällä tilastollista sekamalliteoriaa ja veitsiestimaattia.

Nämä simulaatiot vaativat oletuksia eri satunnaisvaikutuksiin liittyvien varianssikomponenttien suuruudesta. Koska pilottitutkimusta varianssikomponenttien arvioiden saamiseksi ei tehty, käytettiin varianssikomponenttiestimaatteja Riverain-tutkimuksesta SoftView 510(k) (tietuenumero BSSI-PR-09-00006), joka käyttää samanlaista tekniikkaa kuin ehdotettu ClearRead CT Insight -laite. kaikissa tehosimulaatioissa. Huomaa, että varianssikomponentit skaalattiin kokonaisvarianssilla edustamaan kunkin komponentin selittämää osuutta kokonaisvarianssista. Kaikki tehoarviot riippuvat oletettujen varianssikomponenttien asianmukaisuudesta.