Projekt 1: Vlastní třídění pomocí 2D celopolní digitální mamografie nebo syntetických snímků

POZNÁMKA: Tato registrace je propojena s registrací lidských subjektů v ASSIST. To je zase součástí grantu NCI, CA207490. Grant popisuje mnoho navrhovaných experimentů a uvádí, že mnoho dalších by mohlo být provedeno jako následné studie. Na návrh NIH vyšetřovatelé seskupili tyto studie do tří „studií“, z nichž každá zahrnuje více experimentů. Zde popsaný experiment je součástí "Study ID 386408 Project 1: Radioologist Studies". Soubor experimentů není možné registrovat prostřednictvím systému PRS v CT.gov a není možné podávat výroční zprávu o grantu (RPPR) bez čísla NCT u projektů, které zahájily sběr účastníků. V souladu s tím zde vyšetřovatelé popisují jeden experiment, který by byl součástí balíčku studií „Projekt 1“.

Základní myšlenkou Projektu 1 je, že by mohlo být možné, aby Os spolehlivě eliminoval řadu případů při screeningové mamografii již po krátkém pohledu na 2D snímek nebo případně poté, co se na snímek krátce podívá systém AI. To znamená, že klinik a/nebo umělá inteligence by se podívali na obrázek a věděli by „s jistotou“, že tam nic není, a byli by ochotni případ odmítnout nebo „prozkoumat“ na základě tohoto krátkého pohledu. Pokud by si čtenář nebyl zcela jistý, případ by se dostal podrobněji.

Na začátku při pohledu na tento problém chtěli vyšetřovatelé odhadnout, jak ochotní budou kliničtí lékaři třídit případ a jak budou interagovat s AI, která byla požádána o třídění případů. Výzvou pro jakoukoli implementaci třídění bude přimět klinické lékaře (nemluvě o právnících a spol.), aby přijali myšlenku nedívat se na obrázek/případ nebo se krátce podívat, řekněme, na 2D obrázek a být ochotni se na to nedívat. podívejte se na 3D obrázky digitální tomosyntézy (DBT). Experiment, který zde vyšetřovatelé hlásí, má být začátkem studia této problematiky. Existuje kontinuita případů od „zjevně normálních“ po „zjevně abnormální“. Vyšetřovatelé chtěli odhadnout bod na tomto kontinuu, pod kterým je případ tak normální, že čtenáři by byli ochotni nechat případ vyhodnotit počítač a/nebo by byli ochotni vyřešit případ sami. Je také možné, že existují případy tak abnormální, že pacienty lze odvolat k dalšímu vyšetření pouze pomocí počítače, ačkoliv vyšetřovatelé v tomto případě tuto formu třídění nestudují. Vyšetřovatelé předpokládají, že tyto body třídění budou souviset jak s hodnocením normality počítačem, tak s hodnocením čtenáře.

Metoda: Bilaterální 2D mamograf je prezentován po dobu 5 sekund. Časový limit má omezit běžné zkoumání, které by případu věnoval radiolog. Vyšetřovatelé chtějí rozhodnutí na základě "podstaty" případu. Abychom napodobili nízkou prevalenci onemocnění při screeningové mamografii, pouze 4 ze 150 případů jsou pozitivní. Čtenářům je řečeno, že případy napodobují nastavení screeningu, takže vědí, že pozitivní případy budou vzácné, ale není jim sdělena skutečná prevalence.

Vyšetřovatelé žádají radiology, aby odpověděli na dvě otázky o každém z až 150 „případů“ jednotlivých snímků. („Až 150“, protože radiologové mohou skončit a také to dělají, aniž by dokončili všechny případy. Pomocí metody hodnotící stupnice se vyšetřovatelé ptají:

1. Nakolik si jsou účastníci jisti, že tyto obrázky pocházejí z normálního případu?

   Dále vyšetřovatelé čtenářům sdělují, že "Počítač ohodnotil tyto obrázky jako X z 10 (10: nejvyšší pravděpodobnost přítomnosti rakoviny)." Tato hodnota AI je skutečným hodnocením abnormality, generovaným Transpara verze 1.7.0, která vrací skóre pravděpodobnosti malignity pro vyšetření. Hodnocení získala Sarah Verboom z Radboud U.

   Poté se vyšetřovatelé ptají vyšetřovatelů, zda by si čtenář myslel, že by bylo rozumné, aby počítač vyhodnotil případ bez další lidské kontroly.

2. Jak by byli účastníci ochotni, aby počítač rozhodl o tomto případu sám, aniž by se na něj účastníci podívali?

Os odpověděl pomocí posuvné lišty, která sloužila jako hodnotící stupnice. Vybrané hodnocení bylo zobrazeno v horní části posuvné lišty.

Účastníci:

První pozorovatelé pro tuto studii byli testováni v „pop-lab“, pořádaném na Evropské radiologické konferenci (ECR, Vídeň, březen 2023). Vyšetřovatelé organizují tyto laboratoře jako příležitost pro výzkumníky z mnoha laboratoří přijít na velká setkání, jako je ECR, kde by mohli být schopni testovat radiology ve větším počtu než doma. Výhodou je přístup ke čtenářům. Nevýhodou je, že vyšetřovatelé mohou obvykle získat pouze 15-30 minut čtenářského času. Čtenáři pro tento experiment tedy byli pohodlnou populací. Vyšetřovatelé testovali 15 čtenářů. Tyto se velmi lišily ve zkušenostech. Vyšetřovatelé se ptali, kolik případů screeningu podle odhadu přečtou každý rok. To se pohybovalo od 0 (studenti, kteří se naučili o mamografii, ale nebyli v praxi) do 8000. Čtenáři se také lišili v tom, kolik případů byli ochotni nám přečíst, než jim došel čas/trpělivost. Rozsah byl 19 až 148 (průměrně 83 případů). V této fázi jsou vyšetřovatelé nedostatečně schopni s jistotou říci, zda tyto proměnné mají důležitý dopad na výsledky. Toto je chronický problém s odborníky na testování, jako jsou radiologové. Je nesmírně obtížné shromáždit tolik dat, kolik by si člověk přál. Nicméně tato data nám mohou poskytnout informace o faktorech, které určují úspěšnost nebo neúspěch třídění snímků.