Validering af klinisk anvendelighed for den grundlæggende model specifik for neuroimaging-diagnostik

Neurologiske lidelser udgør en alvorlig trussel mod menneskers sundhed og skaber en betydelig socioøkonomisk byrde. Billeddannende undersøgelser, herunder CT og MR, spiller en uundværlig rolle i sygdomsopsøgning, ikke-invasiv diagnostik og vejledning af behandlingsbeslutninger. Kunstig intelligens (AI) værktøjer har vist lovende kliniske anvendelsesmuligheder i at frigøre radiologers produktivitet og forkorte patienters ventetid, især i kritisk pleje og medicinsk underbetjente regioner. Selvom AI-værktøjer trænet på grundlæggende modeller forventes at have pålidelig generalisering og kan tilpasse sig komplekse kliniske scenarier, mangler nuværende AI-systemer ofte robust validering i virkelig klinisk praksis.

I lyset af stigende krav til præcisionsmedicin og den voksende mængde medicinsk billeddata, er kliniske forsøg essentielle for at validere den diagnostiske effektivitet af AI-assisterede systemer og deres anvendelighed i bredere kliniske miljøer. Baseret på et tværfagligt team (integrerende ekspertise inden for AI, radiologi, akutmedicin, neurologi og patologi) og tidligere forskningserfaring, har denne undersøgelse udformet et omfattende og robust forskningsprotokol for at sikre forsøgets pålidelighed og i sidste ende lette klinisk oversættelse.

Denne undersøgelse formoder, at arbejdspræstationen af radiologer, der samarbejder med neuroimaging-grundmodellen for hjerne-CT og MR, ikke er ringere end dem, der arbejder selvstændigt. For de sekundære endepunkter undersøger vi ydeevnen af AI-radiologsamarbejde af AI-værktøjer i et reelt klinisk miljø. Klinisk forsøg indeholder tre delundersøgelser:

1. Identifikation af abnorme tilfælde Hjerneskanninger, herunder normale og alle neurologiske sygdomsdækninger på både CT og MR, blev tilfældigt givet til to grupper af radiologer for at klassificere som normale eller abnorme tilfælde med eller uden forudsagt etiket fra det AI-assisterede system. Sammenligning af følsomhed, specificitet og effektivitet af radiologer, der samarbejder med AI eller arbejder selvstændigt.
2. Undersøgelse for kritisk værdiidentifikation Undersøgelsen omfattede et prospektivt, tilfældigt udvalg af akut CT-data fra et 1-til-3-dages vindue. Ydeevnen af tre paradigmer – kun menneske, kun AI og menneske+AI – blev separat evalueret baseret på diagnostisk nøjagtighed, tidsøkonomi og den kritiske metrik af ledtid i identificering af presserende fund, når AI var integreret sammenlignet med kun menneske.
3. Sygdomsklassifikationseksperiment Et prospektivt udvalgt datasæt fra en specifik tidsperiode, omfattende både CT- og MR-undersøgelser, blev anvendt. Eksperimentet sammenligner ydeevnen af tre diagnostiske tilgange, herunder kun menneskelig fortolkning, kun AI-analyse og menneske-AI-samarbejdende fortolkning. Del I, opgavefærdiggørelsestid, diagnostisk nøjagtighed og diagnostisk genkendelsesrate (for tilfælde med flere etiketter) blev beregnet og sammenlignet på tværs af de tre metoder som følger: (1) Radiologer uafhængigt vælger og anvender leverede sygdoms-skabeloner til rapportgenerering, derefter ekstraherer diagnoseetiketter fra rapporterne; (2) Radiologer genererer rapporter mens de gennemser billeder med hjælp fra AI-genererede kategori-etiketter og AI-tildelte rapportskabeloner baseret på "midnights" hovedklassifikationssystem; (3) AI genererer automatisk den komplette rapport og klassifikationsetiketter. Del II, de oprindelige rapporterende radiologer blev tilbagekaldt for at genfortolke undersøgelserne, og denne genvurdering blev udført med assistance af AI-genererede etiketter og matchede skabeloner. Del III, ved at udnytte klassifikationskapaciteterne af en stor sprogmodel/grundmodel, blev systemet evalueret på flere store-prøve eksterne testsæt for at måle nøjagtighed og behandlingstid. Derudover blev et tilfældigt udsnit af tilfælde fra forskellige kategorier udvalgt til vurdering af neuroradiologer for at beregne raten af oversete diagnoser og fejldiagnoser.