Artificiell intelligens och radiologer vid prostatacancerdetektion i MRI: PI-CAI-utmaningen

Prostatacancer (PCa) är en av de vanligaste cancerformerna hos män över hela världen. En miljon män får en diagnos och 300 000 dör av kliniskt signifikant PCa (csPCa) (definierad som ISUP≥2), varje år, världen över. Multiparametrisk magnetresonanstomografi (mpMRI) spelar en allt viktigare roll vid tidig diagnos av prostatacancer och har rekommenderats av European Association of Urology (EAU) före biopsier. Men nuvarande riktlinjer för att läsa prostata mpMRI (dvs. PI-RADS v2.1) följer en semikvantitativ bedömning som kräver betydande expertis för korrekt användning. Detta kan leda till låg överensstämmelse mellan läsarna (<50%), suboptimal tolkning och överdiagnostik.

Moderna algoritmer för artificiell intelligens (AI) har banat väg för kraftfulla datorstödda detektions- och diagnossystem (CAD) som konkurrerar med mänskliga prestationer inom medicinsk bildanalys. Kliniska prövningar är guldstandarden för att utvärdera nya mediciner och interventioner på ett kontrollerat och jämförande sätt, och motsvarigheten för att utveckla AI-algoritmer är internationella tävlingar eller "grand challenges", där allt större datamängder släpps till allmänheten för att lösa kliniskt relevanta uppgifter med AI . Stora utmaningar kan hantera bristen på förtroende, vetenskapliga bevis och adekvat validering bland AI-lösningar, genom att tillhandahålla medel för att jämföra algoritmer mot varandra med hjälp av gemensamma datauppsättningar och en enhetlig experimentell uppsättning.

PI-CAI (Prostate Imaging: Cancer AI) är en helt ny stor utmaning, med över 10 000 noggrant utvalda prostata MRI-undersökningar för att validera moderna AI-algoritmer och uppskatta radiologers prestation vid csPCa-detektion och diagnos. Nyckelaspekter av studiedesignen har fastställts i samarbete med en internationell, multidisciplinär vetenskaplig rådgivande nämnd (16 experter inom prostata AI, radiologi och urologi) - för att förena och standardisera dagens riktlinjer och för att säkerställa meningsfull validering av prostata- AI mot klinisk översättning.

2022 års upplaga av PI-CAI kommer att fokusera på att validera AI vid automatisk 3D-detektion och diagnos av csPCa i bpMRI. PI-CAI består i första hand av två delstudier:

• AI-studie (Grand Challenge): En kommenterad multicenter, multi-leverantörsdataset med 1500 bpMRI-undersökningar (inklusive deras kliniska variabler och förvärvsvariabler) görs allmänt tillgänglig för alla deltagande team och forskarsamhället i stort. Team kan använda denna datauppsättning för att utveckla AI-modeller och skicka in sina tränade algoritmer (i Docker-behållare) för utvärdering. I slutet av denna öppna utvecklingsfas rangordnas alla algoritmer baserat på deras prestanda på en dold testkohort av 1000 osynliga skanningar. I den slutna testfasen tränar arrangörerna om de 5 högst rankade AI-algoritmerna med hjälp av en större datauppsättning med 7500-9500 bpMRI-skanningar (inklusive ytterligare träningsskanningar från en privat datauppsättning). Slutligen omvärderas deras prestanda på den dolda testkohorten (med rigorösa statistiska analyser), för att fastställa de tre bästa AI-algoritmerna för automatisk 3D-detektion och diagnos av csPCa i bpMRI (dvs vinnarna av den stora utmaningen).
• Läsarstudie: 50+ internationella prostataradiologer utför en läsarstudie med en undergrupp av 400 skanningar från den dolda testkohorten. För varje fall gör radiologer sina bedömningar i två omgångar. Till en början använde endast kliniska variabler och förvärvsvariabler plus bpMRI-sekvenser, vilket möjliggör direkta jämförelser mot AI som tränats på samma. Och sedan, med hjälp av kliniska variabler och förvärvsvariabler plus fullständiga mpMRI-sekvenser, vilket möjliggör jämförelser mellan AI och nuvarande klinisk praxis (PI-RADS v2.1). Sammantaget är målet med denna studie att uppskatta prestandan hos den genomsnittliga radiologen vid upptäckt och diagnos av csPCa i MRI.

I slutändan syftar PI-CAI till att jämföra toppmoderna AI-algoritmer som utvecklats i den stora utmaningen, mot prostataradiologer som deltar i läsarstudien - för att utvärdera den kliniska livskraften hos moderna prostata-AI-lösningar vid csPCa-detektion och diagnos vid MRI.