En studie för att bedöma effekten av ett artificiell intelligens (AI)-system på lungröntgenrapportering

En prospektiv studie i ett enda centrum, där data kommer att samlas in från Hull University Teaching Hospitals NHS Trust (HUTH).

Allmän läkares lungröntgen sker på de två huvudsjukhusplatserna i Trusten men också på satellitenheter i det lokala samhället. Alla dessa använder samma röntgeninformationssystem (RIS) och lungröntgenstrålar lagras automatiskt på HUTHs bildarkiverings- och kommunikationssystem (PACS).

Röntgenavdelningen på Akutmottagningen på Hull Royal Infirmary tar lungröntgen för akutpatienterna men även inneliggande patienter inom sjukhuset.

Alla lungröntgen kommer att bokas in i RIS, utföras och skickas till PACS-systemet som vanligt. Varje lungröntgen som utförs på en patient som är 16 år eller äldre från någon av ovanstående uppsättningar kommer automatiskt att överföras till AI-servern och när den väl bearbetats överförs AI-rapporten automatiskt till samma PACS-mapp som originalfilmen.

Rapportering av lungröntgen och granskning av AI-informationen kommer att ske under de normala rapporteringstillfällena som genomförs inom röntgenavdelningen av alla personalklasser.

Röntgenavdelningen lägger för närvarande ut viss filmrapportering på entreprenad, men under studietiden kommer ingen av ovanstående undersökningar att läggas ut på entreprenad och all rapportering kommer att utföras av HUTH:s röntgenteammedlemmar.

Röntgenrapportering utförs av en rad röntgenpersonal:

• Konsult radiologer
• Registrator Radiologer under utbildning före FRCR - Fellow vid Royal College of Radiology examen efter FRCR
• Rapporterande radiografer Röntgenavdelningen har för närvarande en personalstyrka på 46 konsulter, 26 specialistregistratorer och 8 rapporterande radiografer. Även om inte alla konsulter eller radiografer utför röntgenrapportering.

Studien kommer att involvera alla grupper av reportrar och utredarna kommer att bedöma svaren från varje grupp såväl som det övergripande resultatet. Deltagarna kommer att identifieras i grupp men inte individuellt.

Studien är uppdelad i tre faser.

Fas ett:

Detta kommer att inträffa omedelbart efter integrationen av AI-systemet till HUTH PACS. Det kommer att finnas en period på en månad där reportrar får erfarenhet av att använda programvaran.

Under denna tid kommer två lokala databaser att granskas med programvaran:

• ett träningsset med 100 lungröntgenfall där några lungknölar finns med motsvarande datortomografi.
• En uppsättning tidigare rapporterade lungröntgenbilder som begärts av allmänläkare (GP's) som remitterades av reportern för akut CT.

Resultaten av dessa kommer att granskas av en liten grupp reportrar. Anledningen till dessa recensioner är tvåfaldig:

• För att ge en översikt över programvaran som kan ge instruktioner för fas två.
• För att möjliggöra en jämförelse mellan tidigare dokumenterad reporterprestanda och AI-prestanda innan den prospektiva studien påbörjas.

Fas två:

Detta kommer att pågå i 6 månader och kommer att omfatta alla lungröntgenbilder för patienter över 16 år från antingen en GP-remiss eller utförd på akutmottagningen (ED) på det akuta sjukhuset, vilket inkluderar olycksfalls- och akutbesök och slutenvårdsstudier. Dessa kommer att skickas till AI-servern för utvärdering, returnerande data kommer att finnas tillgängliga i PACS-mappen med originalbilden. Detta kommer att ske innan filmen blir tillgänglig för rapportering.

Det beräknas att denna fas kommer att omfatta cirka 20 000 undersökningar i ungefär lika stor uppdelning. Kalenderår 2019: GP 23 287 undersökningar och ED 22 042 undersökningar.

GP-filmer valdes då dessa studier ofta är de första undersökningarna som ger upphov till oro angående lungcancer, den tredje fasen inkluderar implementering av AI-genererade arbetslistor för rapportering av misstänkta lungknölar/cancer och utvärdering av effekten på CT samma dag för denna grupp.

ED-filmer som man trodde att dessa skulle vara den bästa datamängden för att utvärdera de tio fynden som upptäckts av programvaran och införandet av AI-genererade arbetslistor i fas 3 kan leda till snabbare rapportering av onormala studier.

Reportrarna kommer att granska den ursprungliga lungröntgen och skapa en rapport. De kommer sedan att granska AI-data och bestämma hur detta skulle påverka deras rapport, detta kommer sedan att registreras.[2] AI:n letar efter tio olika abnormiteter på varje lungröntgen och producerar en värmekarta och procentuell konfidenspoäng om den upptäcker en abnormitet. En enda undersökning kan inte ha några AI-fynd eller flera AI-fynd.

Reportrarna kommer att ange sin bedömning av AI för varje film som rapporteras vid tidpunkten för rapporteringen.

• För varje fynd som finns i lungröntgen och/eller AI-utdata kommer läsarna att spela in:

  • Missade fyndet av AI, men upptäcktes av reportern
  • Korrekt upptäckt fynd av AI
  • Missade fyndet av reportern men upptäcktes av AI
  • Fynd upptäckt av AI men ifrågasatt av reportern

• AI:s inverkan på

  • Radiologisk rapport

    • hjälpsam
    • inte hjälpsam
    • neutral

  • Ytterligare rekommenderad bildbehandling

    • signifikant
    • inte viktigt

  • Ändra patienthantering

    • signifikant
    • inte viktigt

Utredarna kommer också att bedöma om AI har ökat förtroendet för att rapportera en abnormitet eller rapportera en studie som normalt.

Alla filmer där reportern inte håller med AI kommer omedelbart att placeras i en PACS-arbetslista och granskas av en senior reporter/reportrar och en överenskommelse kommer överens. Resultatet kommer att läggas in i databasen.

Om en patient rekommenderas att göra en uppföljande lungröntgen eller CT kommer detta att registreras. Dessa uppföljningsundersökningar kommer att granskas av en liten grupp reportrar med upprepad mjukvaruanalys av eventuella röntgenbilder av thorax.

AI-mjukvaran granskar bara den aktuella bilden medan reportern har tillgång till eventuella tidigare undersökningar som kan vara viktiga för att besluta om en abnormitet, detta kommer att spelas in för att bedöma dess effekter.

Reportern kommer att ha ett excel-kalkylblad tillgängligt på PACS-rapporteringsarbetsstationen via en länk till den delade avdelningsenheten med fält för deras rapporteringsgrupp, remisstyp, åtkomstnummer för examen - vilket möjliggör granskning av den individuella undersökningen i händelse av oenighet eller granskning med senare undersökningar, förekomst av tidigare filmer, ett separat fält för varje AI-avvikelse och fält för uppföljande lungröntgen eller CT. Detta kommer att slutföras vid rapporteringstillfället.

I slutet av rapporteringssessionen laddas kalkylarket upp till en central Trust-server, förvaras i en avdelningsmapp och integreras därifrån till en separat lagrad central databas. Endast medlemmar på röntgenavdelningen kommer att ha tillgång till institutionsfoldern och den centrala databasen kommer att hållas separat, tillgänglig för dataansvarig och forskningsledningsgruppen. När de har laddats upp till masterdatabasen kommer de individuella uppgifterna att raderas från radiologimappen. Ingen data kommer att lagras på PACS-arbetsstationerna efter att rapporteringssessionen har slutförts och filen överförts.

Uppgifterna kommer att lagras och behandlas uteslutande inom HUTH. En kopia av huvuddatabasen kommer att göras och ersätter åtkomstnumret med en anonym identifierare. Denna databas kommer att användas för analys.

Fas tre:

Detta kommer att pågå i 3 månader och kommer att omfatta utvecklingen av AI-producerade arbetslistor.

En GP-arbetslista som belyser avvikelser som kan representera malignitet kommer att möjliggöra varmrapportering och CT samma dag vid behov. Förändringarna i tidsfördröjning från lungröntgen till CT kommer att jämföras mellan det nuvarande systemet med radiograftriage av röntgenbilderna och AI-triage.

En ED-arbetslista kommer att tas fram för AI-positiva studier och rapporteringstider för dessa kommer att jämföras med det nuvarande systemet där det inte finns någon filtrering av lungröntgen.

Alla AI-negativa studier kommer att rapporteras. Rapporteringstidsbedömningarna kommer att göras från rutindata inom RIS- och PACS-systemen utan att patientidentifierbara data inkluderas i bedömningarna.

Data kommer att samlas in genom PACS och data kommer att behandlas lokalt i en dedikerad server.