Validatie van de klinische toepasbaarheid van het fundamentele model specifiek voor neuroimaging-diagnostiek

Neurologische aandoeningen vormen een ernstige bedreiging voor de menselijke gezondheid en creëren een aanzienlijke sociaaleconomische last. Beeldvormingsonderzoeken, waaronder CT en MRI, spelen een onmisbare rol bij ziektevroege opsporing, niet-invasieve diagnose en het begeleiden van behandelbeslissingen. Kunstmatige intelligentie (AI) tools hebben veelbelovende klinische toepassingsvooruitzichten getoond in het vrijmaken van de productiviteit van radiologen en het verkorten van de wachttijd van patiënten, vooral in kritieke zorgomgevingen en medisch onderbedeelde regio's. Hoewel AI tools die getraind zijn op foundation-modellen betrouwbare generalisatie zouden moeten hebben en zich kunnen aanpassen aan complexe klinische scenario's, ontbreekt het huidige AI-systemen vaak aan robuuste validatie in de klinische praktijk van de echte wereld.

In het licht van de groeiende vraag naar precisiegeneeskunde en de overvloed aan medische beeldvormingsgegevens, zijn klinische onderzoeken essentieel voor het valideren van de diagnostische werkzaamheid van AI-ondersteunde systemen en hun toepasbaarheid in bredere klinische omgevingen. Gebaseerd op een multidisciplinair team (dat expertise in AI, radiologie, spoedeisende hulp, neurologie en pathologie integreert) en eerdere onderzoekservaring, heeft deze studie een uitgebreid en robuust onderzoeksprotocol ontworpen om de betrouwbaarheid van het onderzoek te waarborgen, wat uiteindelijk de klinische vertaling vergemakkelijkt.

Deze studie veronderstelt dat de werkprestaties van de radiologen die samenwerken met het neuroimaging foundation-model voor hersen-CT en MRI niet inferieur zijn aan die van radiologen die zelfstandig werken. Voor de secundaire eindpunten onderzoeken we de prestaties van de AI-radioloog samenwerking van AI tools in een echte klinische omgeving. Het klinische onderzoek bevat drie deelstudies:

1. Identificatie van abnormale gevallen Hersenscans, inclusief normale en alle neurologische ziekten op zowel CT als MRI, werden willekeurig toegewezen aan twee groepen radiologen om te classificeren als normale of abnormale gevallen met of zonder het voorspelde label van het AI-ondersteunde systeem. Vergelijking van de gevoeligheid, specificiteit en efficiëntie van radiologen die samenwerken met AI of zelfstandig werken.
2. Studie voor kritieke waarde-identificatie De studie betrof een prospectieve, gerandomiseerde selectie van spoed-CT-gegevens uit een venster van 1 tot 3 dagen. De prestaties van drie paradigma's – alleen mens, alleen AI en mens+AI – werden afzonderlijk geëvalueerd op basis van diagnostische nauwkeurigheid, tijdefficiëntie en de kritieke maatstaf van doorlooptijd bij het identificeren van urgente bevindingen wanneer AI was geïntegreerd vergeleken met alleen mens.
3. Ziekteclassificatie-experiment Er werd gebruik gemaakt van een prospectief geselecteerde dataset uit een specifieke tijdsperiode, bestaande uit zowel CT- als MRI-onderzoeken. Het experiment vergelijkt de prestaties van drie diagnostische benaderingen, waaronder alleen menselijke interpretatie, alleen AI-analyse en mens-AI collaboratieve interpretatie. Deel I, taakvoltooiingstijd, diagnostische nauwkeurigheid en diagnostische terugroepratio (voor gevallen met meerdere labels) werden berekend en vergeleken tussen de drie methoden als volgt: (1) Radiologen selecteren onafhankelijk en gebruiken verstrekte ziekte-sjablonen voor rapportgeneratie, vervolgens extraheren ze diagnoselabels uit de rapporten; (2) Radiologen genereren rapporten terwijl ze afbeeldingen bekijken met behulp van AI-gegenereerde categorie-labels en AI-toegewezen rapport-sjablonen gebaseerd op het "midnights" hoofdclassificatiesysteem; (3) AI genereert automatisch het volledige rapport en classificatielabels. Deel II, de originele rapporterende radiologen werden teruggeroepen om de onderzoeken opnieuw te interpreteren, en deze herevaluatie werd uitgevoerd met behulp van AI-gegenereerde labels en bijpassende sjablonen. Deel III, gebruikmakend van de classificatiecapaciteiten van een groot taalmodel/foundation-model, werd het systeem geëvalueerd op meerdere grote-steekproef externe test sets om nauwkeurigheid en verwerkingstijd te meten. Daarnaast werd een gerandomiseerde subset van gevallen uit verschillende categorieën geselecteerd voor beoordeling door neuroradiologen om de ratio van gemiste diagnoses en verkeerde diagnoses te berekenen.