- ICH GCP
- US Clinical Trials Registry
- Klinisk forsøg NCT04991987
Multicenter valideringsundersøgelse af et kunstig intelligensværktøj til automatisk klassificering af røntgenstråler
Studieoversigt
Status
Detaljeret beskrivelse
Et aktuelt problem på radiologiske afdelinger er den konstante stigning i antallet af udførte undersøgelser. Denne stadigt stigende mængde information indebærer en stigning i den tid, som læger skal afsætte til at rapportere disse undersøgelser. Metoden, der udføres for rapportering, varierer afhængigt af billeddannelsesmodaliteten, som i højkompleksitetscentre omfatter blandt andet radiologi, computertomografi, magnetisk resonansbilleddannelse og ultralyd. I øjeblikket tilhører den største mængde undersøgelser almindelig røntgenstråler. På Hospital Italiano de Buenos Aires (HIBA) blev der udført mere end 220.000 røntgenbilleder i løbet af 2019, og inden for denne gruppe er mere end 50 % af praksis røntgenbilleder af thorax, som udføres som en metode til indledende opdagelse af potentielt alvorlige patologier. (lungeknude, lungebetændelse, pneumothorax).
Denne billeddannelsesmodalitet er ikke attraktiv og udforskes ikke af de nye generationer af billedbehandlingsspecialister, som foretrækker at bevæge sig mod mere moderne og komplekse metoder såsom computertomografi eller magnetisk resonansbilleddannelse. Derfor forstærkes problemet med den stigende mængde almindelige røntgenstråler, der skal analyseres, af manglen på specialister med dedikation og erfaring i deres fortolkning.
Inden for datalogi er der opstået et studieområde kaldet Artificial Intelligence (AI), som består af et computersystem, der lærer at udføre specifikke rutineopgaver, og som kan supplere eller efterligne menneskeligt arbejde. Udvikleren skal fortælle AI-systemet, hvilken respons der ønskes fra en given stimulus. Et eksempel på dette er stavekontrollen i et tekstbehandlingsprogram.
AI-området omfatter en lang række underområder og specifikke teknikker, såsom Machine Learning (ML) eller Deep Learning (DL). ML omfatter ethvert værktøj, hvor computeriserede data bruges til at passe til en model, der drager konklusioner fra disse inputdata. Algoritmer er trænet til at lære givne opgaver baseret på et sæt tidligere klassificerede oplysninger. Dette omfatter også traditionelle teknikker til at skabe prædiktive modeller eller klassifikationsmodeller. E-mail-spamfiltrering er et eksempel på ML. Neurale netværk er et af værktøjerne inkluderet i ML.
Endelig er DL en type ML, der begyndte at dukke op i 2015, som består i at tilføje lag til et traditionelt neuralt netværk og dermed skabe en ikke-lineær model med en højere grad af kompleksitet, da den øger antallet af parametre, der skal justeres. Dette netværk udsættes for et træningsdatasæt, som består af allerede mærket information, og "lærer" at mærke ny information ved at efterligne datasættets mærkningskriterier. Denne indlæring er faktisk en iterativ justering af modelparametrene, som iterativt modificeres i henhold til fejlen mellem den originale mærkning og mærkningen foreslået af netværket. Når modellen er trænet, er dens parametre fastsat, og den kan bruges til at udlede etiketter med ny information, hvis mærkning er ukendt. DL-metoder har vist sig at fungere meget bedre i dataanalyse end traditionelle metoder. DL har allerede applikationer i hverdagen, såsom stemmeassistenter i smartphones eller automatisk ansigtsgenkendelse og mærkning i sociale netværk.
DL anvendt til billedbehandling er baseret på en metode kaldet konvolutionelle neurale netværk. Dens anvendelse er blevet undersøgt inden for medicinsk billeddannelse, hvor man har fundet forbedringer i ydeevne, fra objektdetektion (anatomiske eller patologiske strukturer i radiologiske billeder) til segmenteringsopgaver.
Siden 2018 har Hospital Italiano de Buenos Aires kørt TRx-programmet, som består af udviklingen af et AI-baseret værktøj til at opdage patologiske fund ved røntgenbilleder af thorax. Projektet er en del af Artificial Intelligence in Healthcare-programmet på Hospital Italiano de Buenos Aires og udføres af et tværfagligt team af fagfolk, herunder biomedicinske ingeniører, dataforskere, radiologer, kliniske kliniske informatikere, metodologer og softwareingeniører. TRx er en DL-model, udviklet og valideret på HIBA, som detekterer fire typer radiologiske fund på røntgenbilleder af thorax: lungeopaciteter (knuder, masser, lungebetændelse, konsolideringer, malet glas eller atelektase), pneumothorax, pleural effusion og ribben. brud. Denne detektering udføres gennem fire uafhængige moduler, der er integreret i et enkelt system. Ved behandling af et røntgenbillede rapporterer TRx forskellige typer resultater. For det første indikerer det forenede TRx-system dikotomt, om billedet er mistænkeligt for et patologisk fund, eller om det muligvis er et normalt røntgenbillede af thorax. For det andet angiver hvert af de fire moduler især, om der er påvist et fund af henholdsvis lungeopacitet, pneumothorax, pleuraeffusion eller ribbensfraktur. Endelig muliggør TRx visualisering af et varmekort over billedet, der i farve angiver det område af thorax, hvor et formodet fund blev opdaget.
Den tilsigtede brug af dette værktøj er at hjælpe ikke-billeddannende læger med at diagnosticere røntgenbilleder af thorax ved automatisk at detektere radiologiske fund. TRx version 1.0 (TRx v1) evaluerer frontale thorax røntgenbilleder af patienter ældre end 14 år for fire typer fund: lungeopaciteter, pleural effusion, frakturer og pneumothorax. Formålet med dette værktøj er at forbedre den diagnostiske ydeevne for ikke-billeddannende læger ved at yde assistance eller en "foreløbig rapport".
En kendsgerning, der understreges i AI, er, at modeller skal være replikerbare; modellen skal give samme eller bedre resultater, hvis den får samme input. Selvom dette virker indlysende, er det i modsætning til mennesker, som almindeligvis udviser både inter- og intra-observatør-variabilitet. Standarden for en AI-model bør i det mindste matche den menneskelige ydeevne, den vil hjælpe. Replikerbarhed afhænger af problemet, og mængden af variabilitet afhænger af den konkrete opgave.
Der er forfattere, der rapporterer, at en AI-model kan give vanskeligheder med at give nøjagtige forudsigelser, når den anvendes på nye situationer eller populationer (dvs., som den ikke blev udsat for under træning). Mens radiologer med succes er i stand til at tilpasse sig forskelle i billeder (hvad enten det skyldes skivetykkelse, scannermarkering, feltstyrke, gradientintensitet eller kontrasttid) uden at påvirke deres fortolkning af billederne, mangler AI generelt denne evne. For eksempel, hvis en AI-agent kun blev trænet med billeder fra en 3 Tesla MRI-scanner, kan det ikke på forhånd garanteres, at den vil have de samme resultater på scanninger udført ved 1,5 Tesla. En løsning er at udvikle matematiske processer til at genkende, normalisere og transformere dataene for at minimere drift. En anden tilgang til at afbøde dette fænomen er at udføre træning og validering med "fulde" datasæt, der repræsenterer hver type billeddataopsamling og rekonstruktion.
For at evaluere den diagnostiske ydeevne af et AI-værktøj på en omfattende måde og dermed sikre dets tilsigtede brug, anbefales det at udføre multicenterundersøgelser, som gør det muligt at måle denne ydeevne i forskellige patientpopulationer og forskellige billedoptagelsesprotokoller. Denne multicenterundersøgelse søger at eksternt validere ydeevnen af et AI-værktøj (TRx v.1) som et diagnostisk hjælpeværktøj til røntgenbilleder af thorax.
Undersøgelsestype
Tilmelding (Forventet)
Kontakter og lokationer
Studiesteder
-
-
-
Buenos Aires, Argentina, 1199
- Hospital Italiano de Buenos Aires
-
-
Deltagelseskriterier
Berettigelseskriterier
Aldre berettiget til at studere
Tager imod sunde frivillige
Køn, der er berettiget til at studere
Prøveudtagningsmetode
Studiebefolkning
Beskrivelse
Inklusionskriterier:
Røntgenbilleder, der opfylder følgende krav, vil blive inkluderet:
- Røntgen af thorax
- Tilhører patienter over 18 år.
- Fortalervirksomhed og digital tilegnelse
- Undersøgelse udført i de førnævnte institutioner og gemt i deres respektive billedarkiverings- og kommunikationssystem
Ekskluderingskriterier:
røntgenstråler, der er udelukket:
- Dårlig teknik (lav kontrast, tilsløret, off-center)
- Tilstedeværelse af unormal position af patienten under erhvervelsen.
Studieplan
Hvordan er undersøgelsen tilrettelagt?
Design detaljer
Hvad måler undersøgelsen?
Primære resultatmål
Resultatmål |
Foranstaltningsbeskrivelse |
Tidsramme |
|---|---|---|
|
Overensstemmelse mellem AI-værktøj og referencestandard
Tidsramme: 5 måneder
|
Overensstemmelsen mellem den kategori, der er tildelt af de professionelle, og den, der tildeles af algoritmen, vil blive analyseret.
Til dette formål vil en diagnostisk test blive evalueret for påvisning af abnormitet (dvs. testen er positiv, når mindst én af de fire typer fund observeres).
I betragtning af specialisternes diagnose som referencestandard, vil forvirringsmatricen blive konstrueret, og AI-værktøjets diagnostiske metrikker (sensitivitet, specificitet og prædiktive værdier) vil blive beregnet.
De 95 % konfidensintervaller vil blive beregnet ved hjælp af nøjagtig binomial fordeling.
|
5 måneder
|
Sekundære resultatmål
Resultatmål |
Foranstaltningsbeskrivelse |
Tidsramme |
|---|---|---|
|
Modtager Driftskarakteristiske kurver
Tidsramme: 5 måneder
|
Modtagerdriftskarakteristiske kurver vil blive konstrueret for den globale kategori af abnormitet og for hver af de individuelle radiologiske fund, idet arealet under kurven i hvert tilfælde beregnes (værdi mellem 0 og 1).
En model, hvis forudsigelser er 100 % forkerte, har et areal under kurven på 0,0; en anden, hvis forudsigelser er 100 % korrekte, har et areal under kurven på 1,0.
Kategoriseringen foretaget af de ekspertradiologer vil blive taget som referencestandard.
Det vil blive evalueret, om der er en signifikant forskel mellem arealet under kurven for AI-værktøjet og referenceværdien estimeret for ikke-billeddannende læger (dvs.
skadestuelæger eller beboere).
De Long-testen med et signifikansniveau på 0,01 vil blive brugt.
|
5 måneder
|
|
Kvalitativ analyse
Tidsramme: 5 måneder
|
Billederne med fejldiagnoser (falske negative og falske positive) og de tilsvarende varmekort genereret af algoritmen vil blive studeret individuelt.
|
5 måneder
|
|
Inter-observatør konkordansindeks
Tidsramme: 5 måneder
|
Inter-observatøroverensstemmelsen mellem de deltagende specialister vil blive analyseret.
I tilfælde, hvor det pågældende billede er kategoriseret forskelligt af hver af observatørerne, vil de blive bedt om at gennemgå billederne sammen for at definere en kategori.
|
5 måneder
|
|
Analyse efter institution
Tidsramme: 5 måneder
|
Variablerne i punkt 1. og 2. vil blive beregnet separat for billederne af hver deltagende institution.
Vi vil vurdere, om der er en signifikant forskel i de forskellige areal under kurveværdierne på tværs af institutioner ved hjælp af De Long-testen.
Der vil blive brugt et signifikansniveau på 0,01.
|
5 måneder
|
Samarbejdspartnere og efterforskere
Efterforskere
- Ledende efterforsker: Sonia E Benitez, MD, MSc, Hospital Italiano de Buenos Aires
Publikationer og nyttige links
Generelle publikationer
- Calvert JS, Price DA, Chettipally UK, Barton CW, Feldman MD, Hoffman JL, Jay M, Das R. A computational approach to early sepsis detection. Comput Biol Med. 2016 Jul 1;74:69-73. doi: 10.1016/j.compbiomed.2016.05.003. Epub 2016 May 12.
- Kesselman A, Soroosh G, Mollura DJ; RAD-AID Conference Writing Group. 2015 RAD-AID Conference on International Radiology for Developing Countries: The Evolving Global Radiology Landscape. J Am Coll Radiol. 2016 Sep;13(9):1139-1144. doi: 10.1016/j.jacr.2016.03.028. Epub 2016 May 25.
- Chartrand G, Cheng PM, Vorontsov E, Drozdzal M, Turcotte S, Pal CJ, Kadoury S, Tang A. Deep Learning: A Primer for Radiologists. Radiographics. 2017 Nov-Dec;37(7):2113-2131. doi: 10.1148/rg.2017170077.
- Erickson BJ, Korfiatis P, Akkus Z, Kline TL. Machine Learning for Medical Imaging. Radiographics. 2017 Mar-Apr;37(2):505-515. doi: 10.1148/rg.2017160130. Epub 2017 Feb 17.
- Balthazar P, Harri P, Prater A, Safdar NM. Protecting Your Patients' Interests in the Era of Big Data, Artificial Intelligence, and Predictive Analytics. J Am Coll Radiol. 2018 Mar;15(3 Pt B):580-586. doi: 10.1016/j.jacr.2017.11.035. Epub 2018 Feb 6.
- Mosquera C, Diaz FN, Binder F, Rabellino JM, Benitez SE, Beresnak AD, Seehaus A, Ducrey G, Ocantos JA, Luna DR. Chest x-ray automated triage: A semiologic approach designed for clinical implementation, exploiting different types of labels through a combination of four Deep Learning architectures. Comput Methods Programs Biomed. 2021 Jul;206:106130. doi: 10.1016/j.cmpb.2021.106130. Epub 2021 May 2.
Hjælpsomme links
- Weakly Supervised Learning of Deep Convolutional Neural Networks [Internet]. 2016 Institute of Electrical and Electronics Engineers, Conference on Computer Vision and Pattern Recognition. 2016.
- Guest Editorial Deep Learning in Medical Imaging: Overview and Future Promise of an Exciting New Technique [Internet]. Vol. 35, Institute of Electrical and Electronics Engineers, Transactions on Medical Imaging. 2016. p. 1153-9.
- Dataset shift in machine learning. Neural Information Processing. 2008.
Datoer for undersøgelser
Studer store datoer
Studiestart (Faktiske)
Primær færdiggørelse (Forventet)
Studieafslutning (Forventet)
Datoer for studieregistrering
Først indsendt
Først indsendt, der opfyldte QC-kriterier
Først opslået (Faktiske)
Opdateringer af undersøgelsesjournaler
Sidste opdatering sendt (Faktiske)
Sidste opdatering indsendt, der opfyldte kvalitetskontrolkriterier
Sidst verificeret
Mere information
Begreber relateret til denne undersøgelse
Yderligere relevante MeSH-vilkår
Andre undersøgelses-id-numre
- 6025
Lægemiddel- og udstyrsoplysninger, undersøgelsesdokumenter
Studerer et amerikansk FDA-reguleret lægemiddelprodukt
Studerer et amerikansk FDA-reguleret enhedsprodukt
Disse oplysninger blev hentet direkte fra webstedet clinicaltrials.gov uden ændringer. Hvis du har nogen anmodninger om at ændre, fjerne eller opdatere dine undersøgelsesoplysninger, bedes du kontakte register@clinicaltrials.gov. Så snart en ændring er implementeret på clinicaltrials.gov, vil denne også blive opdateret automatisk på vores hjemmeside .
Kliniske forsøg med Pneumothorax
-
Tabriz University of Medical SciencesAJA University of Medical SciencesUkendtPneumothorax, spontan | Pneumothorax Spontan Primær | Pneumothorax, tilbagevendende | Pneumothorax spontan spændingIran, Islamisk Republik
-
Peking University Third HospitalIkke rekrutterer endnuPrimær spontan pneumothorax
-
Zealand University HospitalTilmelding efter invitationPleurale sygdomme | Pleural effusion | Pleural infektion | Pneumothorax spontan sekundær | Pneumothorax Spontan PrimærDanmark
-
Rennes University HospitalRekruttering
-
Chung Shan Medical UniversityAfsluttetLungeknuder | Pneumothorax Iatrogen Postprocedure | Tilpasning af tilbøjelighedTaiwan
-
Dow University of Health SciencesUkendtSekundær pneumothoraxPakistan
-
University Hospital, Strasbourg, FranceRekruttering
-
Chinese University of Hong KongRekrutteringPneumothorax, spontanHong Kong
-
Johns Hopkins UniversityMedline Industries, IncAfsluttetPneumothorax | Tension PneumothoraxForenede Stater
-
University of RochesterTrukket tilbage