Evaluatie van One-Shot Vision Differentiële Diagnose (OSVDE) en Multi-Step Conversational Non-Inferiority (MSCNE) in AI Medisch Interviewen. (OSVDE-MSCNE)

Kunstmatige intelligentie (AI) systemen hebben veelbelovende mogelijkheden getoond in medische diagnostiek; echter is rigoureuze benchmarkevaluatie noodzakelijk voorafgaand aan klinische implementatie. AIMD.1 is een multimodaal AI-diagnostisch systeem ontworpen om klinisch redeneren te ondersteunen door analyse van medische beelden en conversatiegebaseerde diagnostische interacties.

Deze studie evalueert de diagnostische prestaties van AIMD.1 met behulp van een combinatie van retrospectieve beelddatasets en prospectieve klinische evaluatietaken. Het doel is om te bepalen of het AI-systeem diagnostische nauwkeurigheid bereikt die vergelijkbaar is met die van gecertificeerde clinici onder gecontroleerde benchmarkcondities.

De evaluatie omvat twee complementaire fasen.

One-Shot Vision Differential Evaluation (OSVDE):

In deze fase beoordelen het AI-systeem en klinische deelnemers onafhankelijk individuele gedeïdentificeerde medische beelden en genereren zij gerangschikte lijsten van mogelijke diagnoses uitsluitend gebaseerd op visuele kenmerken. De evaluatie zal gebruik maken van ongeveer 11.500-15.000 gedeïdentificeerde medische beelden uit meerdere medische specialismen en ziektecategorieën met geverifieerde referentiediagnoses.

Multi-Step Conversational Non-Inferiority Evaluation (MSCNE):

In deze fase voltooien het AI-systeem en clinici diagnostische taken met behulp van semi-synthetische patiëntsimulaties afgeleid van gedeïdentificeerde medische beelden. Deze simulaties bieden gestructureerde klinische informatie via conversatiegebaseerde interacties, waardoor beoordeling van diagnostisch redeneren over meerdere stappen mogelijk is. Ongeveer 380-500 gesimuleerde casussen zullen worden geëvalueerd.

Ongeveer 10-30 gecertificeerde clinici zullen deelnemen aan de studie. Clinici zullen diagnostische evaluatiesessies op afstand voltooien en zullen differentiële diagnoses verstrekken voor subsets van de beeld- en simulatiecasussen. Menselijke deelnemers bestaan uitsluitend uit clinici die diagnostische antwoorden verstrekken. De beelddatasets en synthetische casussen dienen als studiemateriaal en worden niet als deelnemers beschouwd.

Alle in de studie gebruikte beelden zijn gedeïdentificeerd en afkomstig uit openbaar beschikbare bronnen of datasets die voldoen aan deïdentificatiestandaarden. Aanvullende voorbewerkingsstappen zorgen voor verwijdering van mogelijk identificeerbare informatie voordat ze worden opgenomen in de onderzoeksdataset.

Het AI-systeem wordt geëvalueerd in een offline onderzoeksomgeving en wordt niet gebruikt om echte klinische zorg of patiëntmanagement te sturen. De studie is ontworpen als een benchmark prestatie-evaluatie voorafgaand aan eventuele prospectieve validatie met echte patiënten.

Primaire uitkomstmaten omvatten diagnostische nauwkeurigheidsmetrieken zoals Top-1 diagnostische nauwkeurigheid, gedefinieerd als het aandeel casussen waarin de primaire diagnose van het AI-systeem overeenkomt met de referentiediagnose. Secundaire uitkomsten omvatten Top-5 diagnostische nauwkeurigheid, calibratiemetrieken, sensitiviteit en specificiteit over ziektecategorieën, en tijd-tot-diagnose metingen in conversatiegebaseerde diagnostische scenario's.

Data-analyse zal diagnostische nauwkeurigheid schatten met betrouwbaarheidsintervallen en AI-systeemprestaties vergelijken met klinische prestaties met behulp van gepaarde statistische tests en non-inferioriteitsanalyses.

Klinische antwoorden worden vastgelegd met anonieme studie-identificatoren, en alleen geaggregeerde prestatieresultaten zullen worden gerapporteerd. Er wordt geen identificeerbare informatie over clinici of patiënten verzameld of gepubliceerd.

De studieduur wordt verwacht ongeveer zes maanden te zijn, inclusief datasetvoorbereiding, klinische evaluatiesessies en statistische analyse.

Protocol ID 1026 is geverifieerd als Vrijgesteld volgens 45CFR46.104(d) Ex op 03/10/2026 door Solutions IRB (855) 226-4472 (www.solutionsirb.com)