Hodet-mot-hodet-evaluering av Cancer Ontology Supervised Multimodal Orchestration (COSMO) AI-system versus patolog-utelukkende gjennomgang (COSMO)
Hodet-mot-hodet-evaluering av Cancer Ontology Supervised Multimodal Orchestration (COSMO) AI-system versus patolog-utelukkende vurdering
Denne studien evaluerer diagnostisk ytelse av Cancer Ontology Supervised Multimodal Orchestration (COSMO) AI-systemet for klassifisering av kreftundertyper og sammenligner det direkte med patolog-gjennomgang alene. Patologer vil uavhengig gjennomgå av-identifiserte helsidesbilder fra opptil 300 pasienter fra tre anatomiske steder (hjerne, lunge, nyre) og gi diagnostiske vurderinger. Parallelt vil COSMO behandle de samme sakene offline for å generere uavhengige prediksjoner, noe som muliggjør direkte sammenligning av diagnostisk nøyaktighet mellom menneskelige eksperter og AI-systemet.
Studien vil karakterisere diagnostisk nøyaktighet for COSMO og patologer, interobservatøravtale, og variasjoner i ytelse på tvers av anatomiske steder og krefttyper med ulike forekomstrater. Resultatene vil fastslå hvordan COSMO sammenlignes med patologer på identiske saker og vil bidra til utviklingen av AI-assisterte diagnostiske systemer i klinisk praksis.
Studieoversikt
Status
Intervensjon / Behandling
Detaljert beskrivelse
Studiens rasjonalitet og bakgrunn Diagnostisk nøyaktighet i klassifisering av kreftundertyper varierer betydelig mellom patologer på grunn av forskjeller i ekspertise, erfaring og tilgang til diagnostiske ressurser. Fremveksten av AI-systemer i patologi gir potensialet for å forbedre diagnostisk ytelse og konsistens i kreftklassifisering. Imidlertid er direkte empiriske sammenligninger av AI-baserte prediksjoner og patologers diagnostiske ytelse på identiske tilfeller fortsatt begrenset i litteraturen.
Studiens mål Denne direkte sammenlignende studien har som mål å: (1) evaluere den diagnostiske ytelsen til COSMO AI-systemet i klassifisering av kreftundertyper på tvers av flere anatomiske steder; (2) karakterisere den diagnostiske nøyaktigheten til erfarne patologer på de samme tilfellene; (3) direkte sammenligne diagnostiske ytelsesmål mellom COSMO og patologer; og (4) undersøke samsvarsmønstre og ytelsesvariasjon etter anatomisk sted, kategorisering av kreftforekomst, patologerfaring og tilfellekompleksitet.
Studiens omgivelser og deltakere Studien vil involvere opptil 25 spesialistgodkjente patologer med 3 til 10+ års diagnostisk erfaring, rekruttert fra institusjoner i Nord-Amerika, Europa og Asia-Stillehavsregionen. Deltakende patologer vil ha domeneekspertise innen nevropatologi, lungepatologi, urologisk patologi eller generell anatomisk patologi.
Tilfeller og stratifisering Studien vil bruke avidentifiserte arkivbilder av hele glassplater som representerer opptil 300 pasienter med bekreftede referansediagnoser, inkludert 100 hjernkrefttilfeller, 100 lungekrefttilfeller og 100 nyrekrefttilfeller. Tilfellene vil bli stratifisert etter krefttype og forekomstskategori (vanlig vs. sjelden eller uvanlig), i samsvar med Verdens helseorganisasjons (WHO) retningslinjer.
Datainnsamling Patologer vil uavhengig vurdere hvert tilfelle og gi diagnostiske klassifiseringer sammen med selvtillitsvurderinger ved bruk av en 5-punkts skala. Det digitale patologigrensesnittet vil automatisk registrere tidsforbruk til diagnose. COSMO vil behandle de samme tilfellene offline for å generere uavhengige diagnostiske prediksjoner og selvtillitsskårer. Både patologers og AI-prediksjoner vil bli evaluert mot etablerte referansestandarddiagnoser.
Analyse rammeverk Hovedanalysen vil karakterisere diagnostiske ytelsesmål (inkludert nøyaktighet, sensitivitet, spesifisitet, positiv prediktiv verdi (PPV), negativ prediktiv verdi (NPV) og areal under mottakeroperasjonskarakteristikkkurven (AUROC)) for både patologer (på individuelt og aggregert nivå) og COSMO-systemet. Sekundære analyser vil vurdere ytelse stratifisert etter anatomisk sted, kreftforekomstskategori og patologers erfaringsnivå.
Studietype
Registrering (Antatt)
Kontakter og plasseringer
Studiesteder
-
-
Massachusetts
-
Boston, Massachusetts, Forente stater, 02115
- Harvard Medical School
-
-
Deltakelseskriterier
Kvalifikasjonskriterier
Alder som er kvalifisert for studier
- Barn
- Voksen
- Eldre voksen
Tar imot friske frivillige
Prøvetakingsmetode
Studiepopulasjon
Beskrivelse
Inklusjonskriterier:
- Spesialistgodkjent patolog med ekspertise innen nevropatologi, lungepatologi, urologisk patologi eller generell anatomisk patologi
- Minimum 3 års klinisk diagnostisk erfaring
- Aktiv klinisk praksis som involverer diagnostisk gjennomgang av patologiske preparater
- Villighet til å uavhengig gjennomgå og diagnostisere opptil 300 anonymiserte helpreparatbilder
- Mulighet til å få tilgang til studieplattformen og fullføre kasusgjennomganger innenfor spesifisert studietidsramme
- Gjennomføring av informert samtykke for studiedeltakelse
Eksklusjonskriterier:
- Tidligere involvering i utforming eller validering av COSMO AI-systemet
- Manglende evne til å avsette tilstrekkelig tid til å fullføre tildelte kasusgjennomganger
- Tilstedeværelse av vesentlige økonomiske interessekonflikter relatert til studieutfallene
Studieplan
Hvordan er studiet utformet?
Designdetaljer
Kohorter og intervensjoner
Gruppe / Kohort |
Intervensjon / Behandling |
|---|---|
|
AI-basert evaluering med COSMO
|
|
|
Patologbasert evaluering
|
Digital Patologivurdering
|
Hva måler studien?
Primære resultatmål
Resultatmål |
Tiltaksbeskrivelse |
Tidsramme |
|---|---|---|
|
Diagnostisk ytelse
Tidsramme: Periprosedyre (på tidspunktet for lysbildegjennomgang)
|
Diagnostisk ytelse av COSMO AI-systemet og patologer i å identifisere kreftsubtyper på tvers av hjernetumorer, lungekreft og nyretumorer, vurdert ved nøyaktighet, balansert nøyaktighet, sensitivitet, spesifisitet, positiv prediktiv verdi (PPV), negativ prediktiv verdi (NPV) og areal under mottakeroperasjonskarakteristikk-kurven (AUROC). Vi vil inkludere både overordnede sammenligninger og stratifiserte evalueringer etter anatomisk sted og kreftforekomstskategori (vanlig vs. sjelden eller uvanlig).
|
Periprosedyre (på tidspunktet for lysbildegjennomgang)
|
Sekundære resultatmål
Resultatmål |
Tiltaksbeskrivelse |
Tidsramme |
|---|---|---|
|
Interobservatøravtale blant patologer
Tidsramme: Periprocedurell (ved tidspunktet for sliderevisjon)
|
Diagnostisk overensstemmelse blant deltakende patologer, målt ved Fleiss' kappa, intraklasse korrelasjonskoeffisient (ICC) og parvise overensstemmelsesrater.
|
Periprocedurell (ved tidspunktet for sliderevisjon)
|
|
Patolog-COSMO AI-konkordans
Tidsramme: Periprocedurell (ved tidspunktet for glideanalyse)
|
Overensstemmelsesmønstre mellom patologdiagnoser og COSMO AI-forutsigelser, inkludert andel konkordante tilfeller totalt og stratifisert etter anatomisk sted, forekomstkategori for kreft, og patologens erfaring.
|
Periprocedurell (ved tidspunktet for glideanalyse)
|
|
Diagnostisk sikkerhet
Tidsramme: Periprocedural (ved tidspunktet for lysbilderevisjon)
|
Middel konfidenspoeng (5-punkts skala) rapportert av patologer under diagnostisk vurdering, stratifisert etter anatomisk sted, forekomst av kreftkategori og diagnostisk korrekthet (riktig vs. feil).
|
Periprocedural (ved tidspunktet for lysbilderevisjon)
|
|
Tid-til-diagnose
Tidsramme: Periprocedurell (ved tidspunktet for sliderevisjon)
|
Gjennomsnittlig diagnostisk tid (i sekunder) som kreves av patologer for å gi klassifisering av kreftsubtype, stratifisert etter anatomisk sted, kategori for kreftforekomst og patologens erfaringsnivå.
|
Periprocedurell (ved tidspunktet for sliderevisjon)
|
|
Diagnostisk ytelse stratifisert etter patologerfaring
Tidsramme: Periprocedurell (ved tiden for sliderevisjon)
|
Diagnostisk nøyaktighet hos patologer stratifisert etter års klinisk erfaring (3-5 år, 6-10 år, >10 år) for å vurdere sammenhengen mellom erfaring og diagnostisk ytelse i klassifisering av kreftsubtyper.
|
Periprocedurell (ved tiden for sliderevisjon)
|
Samarbeidspartnere og etterforskere
Etterforskere
- Hovedetterforsker: Kun-Hsing Yu, MD, PhD, Harvard Medical School (HMS and HSDM)
Studierekorddatoer
Studer hoveddatoer
Studiestart (Faktiske)
Primær fullføring (Antatt)
Studiet fullført (Antatt)
Datoer for studieregistrering
Først innsendt
Først innsendt som oppfylte QC-kriteriene
Først lagt ut (Faktiske)
Oppdateringer av studieposter
Sist oppdatering lagt ut (Faktiske)
Siste oppdatering sendt inn som oppfylte QC-kriteriene
Sist bekreftet
Mer informasjon
Begreper knyttet til denne studien
Nøkkelord
Ytterligere relevante MeSH-vilkår
- Urogenitale sykdommer
- Hjernesykdommer
- Sykdommer i sentralnervesystemet
- Sykdommer i nervesystemet
- Patologiske prosesser
- Urogenitale neoplasmer
- Neoplasmer etter nettsted
- Neoplasmer
- Mannlige urogenitale sykdommer
- Nyresykdommer
- Urologiske sykdommer
- Kvinnelige urogenitale sykdommer
- Kvinnelige urogenitale sykdommer og graviditetskomplikasjoner
- Sykdommer i luftveiene
- Lungesykdommer
- Neoplasmer i luftveiene
- Thoracale neoplasmer
- Urologiske neoplasmer
- Neoplasmer i nervesystemet
- Neoplasmer i sentralnervesystemet
- Patologiske tilstander, tegn og symptomer
- Lungeneoplasmer
- Sykdom
- Neoplasmer i hjernen
- Nyre-neoplasmer
Andre studie-ID-numre
- Yu Lab COSMO Study
Plan for individuelle deltakerdata (IPD)
Planlegger du å dele individuelle deltakerdata (IPD)?
IPD-planbeskrivelse
Legemiddel- og utstyrsinformasjon, studiedokumenter
Studerer et amerikansk FDA-regulert medikamentprodukt
Studerer et amerikansk FDA-regulert enhetsprodukt
Denne informasjonen ble hentet direkte fra nettstedet clinicaltrials.gov uten noen endringer. Hvis du har noen forespørsler om å endre, fjerne eller oppdatere studiedetaljene dine, vennligst kontakt register@clinicaltrials.gov. Så snart en endring er implementert på clinicaltrials.gov, vil denne også bli oppdatert automatisk på nettstedet vårt. .