Projekt 1: Selvtriage ved 2D fuldfelts digital mammografi eller syntetiske billeder

BEMÆRK: Denne registrering er knyttet til en Human Subjects-registrering i ASSIST. Det er til gengæld en del af en NCI Grant, CA207490. Bevillingen beskriver mange foreslåede eksperimenter og bemærker, at mange andre kan udføres som opfølgende undersøgelser. Efter forslag fra NIH grupperede efterforskerne disse undersøgelser i tre "undersøgelser", der hver dækkede flere eksperimenter. Eksperimentet beskrevet her er en del af "Studie ID 386408 Project 1: Radiologist Studies". Det er ikke muligt at registrere et sæt eksperimenter gennem PRS-systemet i CT.gov, og det er ikke muligt at indsende en årsrapport for bevillingen (RPPR) uden et NCT-nummer for projekter, der er begyndt at indsamle deltagere. I overensstemmelse hermed beskriver efterforskerne her et eksperiment, som ville være en del af "Projekt 1"-pakken af ​​undersøgelser.

Kernen i Project 1 er, at det måske er muligt for Os pålideligt at eliminere et sæt tilfælde i screening af mammografi efter blot et kort kig på et 2D-billede eller potentielt efter et AI-system tager et kort kig på billedet. Det vil sige, at klinikeren og/eller AI'en ville se på billedet og vide "med sikkerhed", at der ikke er noget der og ville være villig til at afvise eller "triagere" sagen på baggrund af dette korte blik. Hvis læseren ikke var helt sikker, ville sagen få mere granskning.

Som en start på at se på dette spørgsmål ønskede efterforskerne at vurdere, hvor villige klinikere ville være til at triage en sag, og hvordan de ville interagere med en AI, der blev bedt om at triage sager. En udfordring for enhver implementering af triage vil være at få klinikere (for ikke at sige noget om advokater, et al.) til at acceptere ideen om ikke at se på et billede/en sag eller at se kort på f.eks. 2D-billedet og være villig til ikke at se på 3D digital tomosynthesis (DBT) billeder. Eksperimentet, som efterforskerne rapporterer her, er beregnet til at være en start på at studere dette problem. Der er et kontinuum af sager fra "åbenbart normal" til "åbenbart unormal". Efterforskerne ønskede at vurdere det punkt på det kontinuum, under hvilket en sag er så normal, at læserne ville være villige til at lade computeren behandle sagen og/eller selv være villige til at behandle en sag. Det er også muligt, at der er tilfælde så unormale, at patienterne kan tilbagekaldes til yderligere undersøgelse af computeren alene, selvom efterforskerne ikke studerer den form for triage i dette tilfælde. Efterforskerne antager, at disse triage-punkter vil være relateret til både computerens vurdering af normalitet og læserens vurdering.

Metode: Et bilateralt 2D mammografi præsenteres i 5 sekunder. Fristen har til formål at begrænse den normale undersøgelse, som en radiolog vil give i sagen. Efterforskerne ønsker en afgørelse baseret på sagens "kerne". For at efterligne den lave forekomst af sygdom i en screening mammografi, er kun 4 ud af 150 tilfælde positive. Læserne får at vide, at tilfældene efterligner en screeningsindstilling, så de ved, at positive tilfælde vil være sjældne, men de får ikke at vide den faktiske prævalens.

Efterforskerne beder radiologer om at besvare to spørgsmål om hver af op til 150 enkeltbilledsager. ("Op til 150", fordi radiologer kan og kan holde op uden at afslutte alle sager. Ved hjælp af en vurderingsskala-metode spørger efterforskerne:

1. Hvor sikre er deltagerne på, at disse billeder er fra en normal sag?

   Dernæst fortæller efterforskerne læserne, at "Computeren vurderede disse billeder som X ud af 10 (10: højeste sandsynlighed for kræft til stede)." Denne AI-værdi er en reel vurdering af abnormitet, genereret af Transpara version 1.7.0, som returnerer en sandsynlighed for malignitetsscore for undersøgelsen. Bedømmelserne blev opnået af Sarah Verboom fra Radboud U.

   Derefter spørger efterforskerne efterforskerne spurgte, om læseren ville mene, at det var rimeligt, at computeren triagede sagen uden yderligere menneskelig inspektion.

2. Hvor villige vil deltagerne være, hvis computeren alene tager beslutningen om denne sag uden at få deltagerne til at se på den?

Os svarede ved hjælp af en glidende bjælke, der fungerede som en vurderingsskala. Den valgte vurdering blev vist øverst på glidebjælken.

Deltagere:

De første observatører til denne undersøgelse blev testet på et 'pop-lab', arrangeret på European Conference of Radiology (ECR, Wien, marts 2023). Efterforskerne har organiseret disse laboratorier som en mulighed for forskere fra mange laboratorier til at komme til store møder som ECR, hvor de måske kunne teste radiologer i større antal end derhjemme. Fordelen er adgang til læsere. Ulempen er, at efterforskerne typisk kun kan få 15-30 min af en læsers tid. Læserne til dette eksperiment var således en bekvemmelighedspopulation. Efterforskerne testede 15 læsere. Disse varierede meget i erfaringer. Efterforskerne spurgte, hvor mange screeningssager de vurderede, at de læste hvert år. Dette varierede fra 0 (studerende, der havde lært om mammografi, men ikke var i praksis) til 8000. Læserne varierede også i, hvor mange sager de var villige til at læse for os, før de løb tør for tid/tålmodighed. Intervallet var 19 til 148 (gennemsnit 83 tilfælde). På dette stadium er efterforskerne underbemyndiget til at sige med enhver overbevisning, om disse variabler har en vigtig indflydelse på resultaterne. Dette er et kronisk problem med testeksperter som radiologer. Det er ekstremt svært at indsamle så meget data, som man kunne ønske sig. Ikke desto mindre kan disse data give os information om de faktorer, der vil bestemme succes eller fiasko for billedtriage.