Utvärdering av programvara för datorstödd lungknöldetektering i Thoracic CT för Riverain Technologies LLC

En läsarstudie med minst tio (10) deltagande radiologer kommer att genomföras. En lokaliserad mottagares funktionskarakteristikkurva kommer att användas för att utvärdera radiologers diagnostiska prestanda (i termer av avvägningen mellan sensitivitet och specificitet när beslutskriterierna ändras) vid detektion av lungknölar på lung-CT med och utan användning av ClearRead CT Insight (CRCTI) system. Den tid som behövs för granskning och tolkning av varje ärende kommer också att registreras.

En första tolkning (baslinje) kommer att göras av var och en av radiologerna baserat på lung-CT i dess ursprungliga form. Minst en månad senare kommer varje radiolog igen att tolka samma bilder när de tittar på paret av CRCTI CT-serier: Två uppsättningar CT-bilder (standard med CADe-märken och behandlade med kärlundertryckning kommer att presenteras på antingen en stor monitor eller två intilliggande övervakar.

Under baslinjeavläsningen kommer radiologen att markera platsen för de verkningsbara knölarna och tilldela en poäng. Radiologen kommer också att ange den rekommenderade uppföljningsmetoden (kontrast-CT, PET-CT, CT-uppföljning, biopsi).

Under den andra lässessionen (samtidig läsning) kommer radiologen att presenteras med en standarduppträdande CT med datorstödd detektering (CADe)-märken placerade och kärlet undertryckt samma skiva med kärlets undertryckt vy (höger bild). Den andra bilden, kärl undertryckt, kommer att vara nedtonad tills radiologen flyttar musen till den andra panelen. Radiologen kommer att markera platser. Dessa kan eller kanske inte motsvarar platserna för CAD-markörerna. Som tidigare kommer radiologen att tilldela en nivå av misstänkt till varje märke och indikera behovet, om något, av en ytterligare diagnostisk åtgärd (CT-uppföljning, Kontrast-CT, PET-CT eller Biopsi).

Baserat på misstankenivåerna för varje nodul och de tillhörande sannolikhetsvärderingarna kommer LROC-kurvor att konstrueras för både baslinjen och de samtidiga avläsningarna och signifikansen av eventuell skillnad kommer att beräknas. Rekommendationerna för ytterligare åtgärder (CT-uppföljning, Kontrast-CT, PET-CT eller Biopsi) kommer att användas för att beräkna sensitivitet och specificitet, PPV och NPV.

Antal och typer av ärenden:

Retrospektiva lung-CT-bildserier från cirka 300 patienter kommer att ingå i studien. Ungefär hundra (100) av patienterna kommer att ha patologiskt bekräftade cancerformer och cirka tvåhundra (200) av patienterna kommer att vara CTs associerade med normala patienter. Även inkluderade som nodulbilder är de där den verkningsbara nodulen inte påverkades vid den tidpunkten, utan detekterades och åtgärdades baserat på en efterföljande CT. Dessa är de tidigare bilderna där knölen kan identifieras och dess placering är densamma som på den "aktuella" bilden bekräftad av radiologexpertpanelen (med en majoritet av tre som beslutskriterium).

Det valda urvalet, slumpmässigt valt från en större pool av CT-fall, kommer att berikas på följande sätt:

1. Lungknölar (cancer i denna studie) kommer att ha tumörstorlek T1a (20 mm eller mindre). Andelen knölar 20 mm eller mindre kan ökas eftersom det är här utredarna förväntar sig att den stora effekten av denna programvara ska vara.
2. Icke-fasta (slipade) knölar kommer att läggas till provet (baserat på tillgänglighet) för att bestämma systemets prestanda på icke-fasta knölar. För att denna grupp ska ha tillräckligt med fall kan utredarna behöva inkludera godartade (icke-maligna) icke-fasta knölar.
3. I detta projekt kommer utredarna att utföra ett maskintest av ClearRead CT Insight-algoritmen följt av en utvärderingsstudie av läsarens prestanda. Riverain kommer att tillhandahålla ett system konfigurerat med driftspunkten som ska användas för läsarstudierna och en konfiguration för ett "öppet" system som ska användas för maskintestning och FROC-generering.

Arm 1: en baslinjeläsning (inget sekundärt innehåll) och arm 2: samtidig, CAD-förstärkt läsning.

1. st Arm: Gör baslinjen (mät tid, läsarna poängsätter regioner efter handling och misstänksamhet) - markera alla orosplatser
2. nd Arm: Samtidig läsning (mät tid, läsarna poängsätter regioner enligt åtgärd och misstänksamhet) - markera alla orosplatser

Studiens primära hypotes är att den kompletterande användningen av ClearRead CT Insight är överlägsen användningen av enbart standard lung-CT-bilder, mätt med arean under LROC-kurvan.

STATISTISKA ANALYSER Noggrannhet

För att utvärdera hypotesen om överlägsenhet i termer av förbättring i noggrannhet för ClearRead CT Insight vs. utan hjälp kommer en mixed effects-modell (DBM) att implementeras (liknande modellen som beskrivs i Dorfman, Berbaum och Metz, 1997), där varianskomponenter kommer att inkluderas för att redogöra för läsare, fall, läsare för fall, läsare för modalitet, fall för modalitet och läsare för fall för modalitet. Det förväntas dock att trevägsinteraktionen kommer att vara ovärderlig och kommer därefter att tas bort från den statistiska modellen. Specifikt är hypotesen att testa för överlägsenhet hos ClearRead CT Insight jämfört med utan hjälp:

H0: AUCunaided - AUCClearRead CT Insight ≥ 0,0 vs. HA: AUCunaided - AUCClearRead CT Insight < 0

AUC för LROC är den primära endpointen för att utvärdera noggrannheten och testet av intresse kommer att vara ett dubbelsidigt 95 % konfidensintervall på effekten av modalitet (dvs. ClearRead CT Insight minus utan hjälp). Signifikans kommer att fastställas om den övre gränsen för det tvåsidiga 95 % konfidensintervallet inte inkluderar noll. Om nollhypotesen (H0) förkastas, accepteras den alternativa hypotesen (HA) och överlägsenheten för att använda ClearRead CT Insight-systemet kommer att fastställas.

Tid

Det andra huvudmålet är att utvärdera minskning av tidsåtgång per bild för ClearRead CT Insight vs. utan hjälp. Specifikt är hypotesen att testa för överlägsenhet hos ClearRead CT Insight jämfört med utan hjälp:

H0= Tunaided - TClearRead CT Insight ≤ 0 vs. HA= Tunaided - TClearRead CT Insight > 0

För att utvärdera hypotesen om icke-underlägsenhet i termer av förbättrad lästid för ClearRead CT Insight vs. utan hjälp, kommer en blandad effektmodell att implementeras (liknande modellen som beskrivs i Dorfman, Berbaum och Metz, 1992), där varianskomponenter kommer att vara ingår för att redogöra för läsare, fall, läsare för fall, läsare för modalitet, fall för modalitet och läsare för fall för modalitet. Det förväntas dock att trevägsinteraktionen kommer att vara ovärderlig och kommer därefter att tas bort från den statistiska modellen.

Lästiderna kommer att testas med ett dubbelsidigt 95 % konfidensintervall på effekten av modalitet (dvs. ClearRead minus utan hjälp). Signifikans kommer att fastställas om den övre gränsen för det tvåsidiga 95 % konfidensintervallet inte inkluderar noll.

Med båda analyserna kan användningen av den blandade modellen modifieras för att använda en bootstrap-samplingsmetod om modellantagandena för DBM-metoden har kränkts. Den övre 95 % konfidensgränsen för skillnaden i områdena under kurvorna skulle beräknas med 10 000 bootstraps i MultiReader MultiCase (MRMC) ROC-metoden.

KRAFT OCH PROVSTORLEK

Förmågan att upptäcka skillnader i AUC för LROC-kurvan för den föreslagna statistiska analysen med användning av den nuvarande designbaslinjen, dvs 300 fall, varje motsvarande bild läst av 10 läsare, bedömdes genom en simuleringsstudie. Specifikt användes modellen som beskrivs ovan för att simulera 500 datauppsättningar över en rad effektstorlekar, där effekt definierades som andelen datauppsättningar som gav ett signifikant p-värde för att testa modalitetens fasta effekt. Metoden enligt Dorfman, Berbaum och Metz, 1992 (DBM) implementerades med användning av statistisk blandad modellteori med jackknife-uppskattningar.

Dessa simuleringar krävde antaganden om storleken på varianskomponenterna förknippade med de olika slumpmässiga effekterna. Eftersom en pilotstudie för att erhålla uppskattningar av varianskomponenter inte utfördes, användes uppskattningar av varianskomponenter från Riverains studie SoftView 510(k) (Record # BSSI-PR-09-00006) som använder en liknande teknik som den föreslagna ClearRead CT Insight-enheten i alla effektsimuleringar. Observera att varianskomponenterna skalades med den totala variansen för att representera andelen av den totala variansen som förklaras av varje komponent. Alla effektuppskattningar är beroende av lämpligheten hos de antagna varianskomponenterna.