Resonemangsförstärkning med Feedback från AI i Nefrologi-Studie (REFINe)
Reasoning Enhancement With Feedback From a Generative AI in Nephrology (REFINe): En randomiserad utvärdering av generativ AI-stöd inom nefrologisk diagnos
Syftet med denna kliniska studie är att lära sig hur artificiell intelligens (AI) kan hjälpa läkare att ställa diagnoser inom njurmedicin. Forskarna vill ta reda på om ett AI-verktyg som kallas stort språkmodell (LLM) kan hjälpa läkare att välja rätt diagnos oftare och känna sig mer säkra på sina svar.
Innan studien började testade forskningsteamet flera AI-modeller och valde en av de bästa, en GPT-5-klassmodell inställd på att använda hög resonemangsansträngning.
De huvudsakliga frågorna som denna studie syftar till att besvara är:
- Ställer läkare fler korrekta diagnoser när de kan se AI-förslag?
- Förändrar det att se AI-förslag hur säkra läkare känner sig på sin diagnos?
Forskare kommer att jämföra läkare som får AI-förslag med läkare som inte får AI-förslag för att se hur AI påverkar noggrannhet, säkerhet och beslutsfattande.
Deltagarna kommer att genomföra upp till 10 kliniska fall online. För varje fall kommer de att:
- Läsa ett kort medicinskt scenario
- Föreslå upp till tre möjliga diagnoser
(Om i AI-gruppen) Granska AI:ns förslag och besluta om de ska ändra sitt svar
Studien kommer också att undersöka hur lång tid deltagarna tar på sig att besvara varje fall och hur AI:ns prestanda jämförs med de mänskliga svaren.
Studieöversikt
Status
Betingelser
Intervention / Behandling
Detaljerad beskrivning
Denna studie utvärderar om att förse kliniker med realtidsdiagnostiska förslag från en högreasonerande stor språkmodell (GPT-5) förbättrar diagnostisk noggrannhet, självförtroende och effektivitet vid lösning av nefrologiska kliniska vignetter. Innan modellen valdes för försöket benchmarkade forskningsteamet flera toppmoderna modeller över en pilotserie av nefrologifall, inklusive: GPT-5, GPT-5-mini, O3, GPT-4o, Llama-4 Maverick-17B, Gemini-2.5-Pro, Qwen-3 VL-235B Thinking, DeepSeek-V3.2-Exp, MedGEMMA-27B, Claude Sonnet-4.5 och Magistral-Medium-2509. GPT-5 (högreasonerande) uppvisade den högsta diagnostiska prestandan, stabiliteten och tolkbarheten, och valdes som det AI-system som används i interventionsarmen.
Deltagarna inkluderar medicinstudenter, ST-läkare, forskarstuderande och praktiserande läkare. Efter att ha skapat ett konto fyller deltagarna i ett demografiskt frågeformulär (specialitet, års erfarenhet, verksamhetstyp, ålderskategori, AI-kännedom) och måste uttryckligen godkänna användningen av dessa data för forskningsändamål innan de får tillgång till vignetterna. Ingen direkt identifierande information samlas in.
Deltagarna randomiseras (med stratifiering efter professionell status) till antingen den AI-stödda armen eller kontrollarmen. Varje deltagare tilldelas 10 nefrologiska vignetter på franska eller engelska och kan slutföra dem över flera sessioner. När en vignett har skickats in kan den inte återbesökas ("ingen backtracking"). Slutförandetid per vignett registreras automatiskt.
Kontrollarm
Deltagarna visar varje vignett och anger upp till tre diagnoser ("Top-3"), följt av ett självförtroendevärdering (0-10).
AI-stödd arm
Deltagarna anger först en inledande Top-3-diagnos och självförtroendevärdering utan AI-bistånd. Systemet visar sedan GPT-5:s diagnostiska förslag, varefter deltagarna kan revidera sina diagnoser en gång. Vignetten låses efter inlämning.
Studien samlar in:
- inledande och slutliga diagnoser,
- självförtroendevärderingar före och (om tillämpligt) efter AI-förslag,
- slutförandetider,
- deltagarnas demografiska variabler,
- och AI-modellens egna diagnostiska utdata.
Partiell slutförande är tillåtet; alla slutförda vignetter bidrar till analysen.
Primära och sekundära utfall inkluderar diagnostisk noggrannhet (Top-3 och Top-1), noggrannhetsförbättring före kontra efter AI, förändringar i diagnostiskt självförtroende, AI-inducerade diagnostiska fel, människa-mot-AI-benchmarking, effektivitetsmått för slutförandetid och andelen tilldelade vignetter som slutförts.
Den primära analysen kommer att jämföra diagnostisk noggrannhet mellan kontrollarmen (läkare ensamma) och den experimentella armen (läkare assisterade av AI-modellen). Noggrannhet analyseras som ett binärt utfall (korrekt vs felaktig diagnos). Eftersom varje deltagare utvärderar flera kliniska vignetter kommer noggrannhet att modelleras med en logistisk regression med blandade effekter med en fix effekt för studiearm och slumpmässiga intercept för både deltagare och vignett. Detta tillvägagångssätt tar hänsyn till klustring och varierande svårighetsgrad över fall. Det primära hypotesprövningen använder ett tvåsidigt α = 0,05. Effektstorlekar rapporteras som oddsförhållanden med 95% konfidensintervall. Sekundära analyser kommer att undersöka om noggrannhet varierar med demografiska faktorer (t.ex. erfarenhetsnivå, specialitet) med hjälp av interaktionstermer.
Eftersom varje deltagare utvärderar flera vignetter utförde teamet också simuleringsbaserade styrkeanalyser med logistiska regressionsmodeller med blandade effekter med slumpmässiga intercept för både deltagare och vignett, under antagandet av en intra-deltagar ICC på 0,10. Under dessa antaganden ger ett totalt urval på 100 deltagare (50 per arm) med 10 vignetter per deltagare >99% styrka för att upptäcka en kliniskt meningsfull förbättring i diagnostisk noggrannhet. Undersökarna planerar därför att rekrytera cirka 100 deltagare totalt.
Denna studie syftar till att kvantifiera om AI-förstärkt resonemang meningsfullt förbättrar diagnostisk prestanda och beslutsfattande när kliniker utvärderar komplexa nefrologifall.
Studietyp
Inskrivning (Beräknad)
Fas
- Inte tillämpbar
Kontakter och platser
Studiekontakt
- Namn: Raphaël BENTEGEAC, MD, MPH
- Telefonnummer: +33651204000
- E-post: raphael.bentegeac@univ-lille.fr
Studieorter
-
-
-
Lille, Frankrike, 59000
- Rekrytering
- Lille University Hospital (online study)
-
Kontakt:
- Raphaël BENTEGEAC, MD, MPH
- Telefonnummer: +33651204000
- E-post: raphael.bentegeac@chu-lille.fr
-
Kontakt:
- Aghiles HAMROUN, MD, PhD
- E-post: aghiles.hamroun@univ-lille.fr
-
-
Deltagandekriterier
Urvalskriterier
Åldrar som är berättigade till studier
- Vuxen
- Äldre vuxen
Tar emot friska volontärer
Beskrivning
Inklusionskriterier:
Vuxna i åldern 18 år eller äldre.
Kan läsa och besvara kliniska vinjetter på engelska eller franska.
Tillgång till en dator eller smartphone med internetanslutning.
Ger informerat samtycke online.
Förväntas ha minst grundläggande medicinsk utbildning (t.ex. läkarstuderande, AT-läkare, ST-läkare eller praktiserande kliniker), även om ingen formell verifiering krävs.
Exklusionskriterier:
Personer under 18 år.
Oförmåga att slutföra online-studieprocedurer.
Tidigare deltagande i utformning, utveckling eller utvärdering av det AI-system som används i denna studie.
Studieplan
Hur är studien utformad?
Designdetaljer
- Primärt syfte: Diagnostisk
- Tilldelning: Randomiserad
- Interventionsmodell: Parallellt uppdrag
- Maskning: Ingen (Open Label)
Vapen och interventioner
Deltagargrupp / Arm |
Intervention / Behandling |
|---|---|
|
Experimentell: Grupp med AI-förslag
Deltagare i denna arm kommer att genomföra samma kliniska fallbeskrivningar som kontrollgruppen.
För varje fall kommer de att få en föreslagen diagnos genererad av ett stort språkmodell (GPT-5, hög resoneringskonfiguration), som valdes efter intern benchmarking.
Deltagare kan granska AI-förslaget innan de anger sitt eget slutgiltiga diagnostiska svar.
Ingen ytterligare information, ledtrådar eller coaching tillhandahålls.
Interventionen består enbart av att visa det AI-genererade diagnostiska förslaget under falllösningsuppgiften.
|
Denna intervention består av att visa ett AI-genererat diagnostiskt förslag under uppgiften att lösa kliniska fall.
Efter att ha läst varje vignett ser deltagarna det främsta diagnostiska förslaget som producerats av en stor språkmodell (GPT-5, hög resoneringskonfiguration), valt efter intern benchmarking.
AI-förslaget visas en gång per vignett och kan inte begäras igen eller modifieras.
Deltagarna kan revidera sitt diagnostiska svar efter att ha sett förslaget, men de kan inte återvända till vignetten senare.
Inget ytterligare vägledning, coaching eller interaktiva funktioner tillhandahålls.
|
|
Inget ingripande: Grupp utan AI-förslag
Deltagarna i denna arm kommer att slutföra de kliniska fallbeskrivningarna självständigt, utan några AI-genererade diagnostiska förslag.
De kommer att läsa varje fallbeskrivning och ge sitt eget diagnostiska svar enbart baserat på den information som presenteras.
Inget externt beslutsstöd eller ytterligare material tillhandahålls.
|
Vad mäter studien?
Primära resultatmått
Resultatmått |
Åtgärdsbeskrivning |
Tidsram |
|---|---|---|
|
Slutlig diagnostisk noggrannhet (top-3) med kontra utan AI-stöd
Tidsram: Från första vinjetten besvarad till studiens slut (upp till 12 månader).
|
För varje deltagare, andelen vinjetter där den korrekta huvuddiagnosen ingår i deltagarens slutgiltiga topp-3-diagnoser. Jämför slutlig topp-3-noggrannhet mellan AI-gruppen (efter AI-förslag) och kontrollgruppen (utan AI). Procentandel korrekt diagnostiserade fall (topp-3). |
Från första vinjetten besvarad till studiens slut (upp till 12 månader).
|
Sekundära resultatmått
Resultatmått |
Åtgärdsbeskrivning |
Tidsram |
|---|---|---|
|
Slutlig diagnostisk noggrannhet (top-1) med jämfört med utan AI-stöd
Tidsram: Från första vinjetten besvarad till slutet av studien (upp till 12 månader).
|
För varje deltagare, andelen vinjetter där den korrekta huvuddiagnosen ingår i deltagarens slutliga topp-1-diagnoser.
Jämför slutlig topp-1-noggrannhet mellan AI-armen (efter AI-förslag) och kontrollarmen (utan AI).
Procentandel korrekt diagnostiserade fall (topp-1).
|
Från första vinjetten besvarad till slutet av studien (upp till 12 månader).
|
|
Förändring i topp-3 diagnostisk noggrannhet före kontra efter AI-förslag (endast AI-armen)
Tidsram: Från det att den första vinetten besvarats till studiens slut (upp till 12 månader).
|
I den AI-stödda armen ger deltagarna först ett initialt svar (upp till tre diagnoser) utan AI-förslag, ser sedan AI-genererade förslag och kan revidera sitt svar en gång; de kan inte återvända till den vinetten senare. För varje deltagare beräknar forskarna skillnaden i top-3 noggrannhet mellan initiala och slutliga svar över alla slutförda vinetter. Procentenhetsförändring i Top-3 diagnostisk noggrannhet |
Från det att den första vinetten besvarats till studiens slut (upp till 12 månader).
|
|
Förändring i topp-1 diagnostisk noggrannhet före kontra efter AI-förslag (endast AI-gruppen)
Tidsram: Från det första vinjettsvar som besvarades till studiens slut (upp till 12 månader).
|
I den AI-stödda armen ger deltagarna först ett initialt svar (upp till tre diagnoser) utan AI-förslag, ser sedan AI-genererade förslag och får revidera sitt svar en gång; de kan inte återvända till den vinjetten senare. För varje deltagare beräknar forskarna skillnaden i topp-1-accuracy mellan initiala och slutgiltiga svar över alla genomförda vinjetter. Procentenhetsförändring i Top-1 diagnostisk accuracy |
Från det första vinjettsvar som besvarades till studiens slut (upp till 12 månader).
|
|
Diagnostisk säkerhet (0-10) före AI-förslag: Kontrollgrupp vs AI-grupp
Tidsram: Från första vinjetten besvarad till studiens slut (upp till 12 månader).
|
Deltagarna i båda grupperna betygsätter sin tillförsikt (0-10-skala) för sina Top-3 diagnostiska förslag innan några AI-förslag ges. I AI-gruppen är detta "före-AI"-betyget. I kontrollgruppen är detta det enda tillförsiktsbetyget (eftersom ingen AI visas). Forskarna jämför tillförsikten före AI mellan grupperna, aggregerat över alla genomförda vinjetter per deltagare. |
Från första vinjetten besvarad till studiens slut (upp till 12 månader).
|
|
Slutlig diagnostisk säkerhet (0-10) efter AI-förslag: Kontrollarm vs AI-arm
Tidsram: Från första vinjetten besvarad till slutet av studien (upp till 12 månader).
|
Slutlig diagnostisk tillförsikt (0–10-skala) i de tre främsta diagnostiska förslagen över alla slutförda vinjetter, jämfört mellan armarna. I AI-armen är detta tillförsiktsbedömningen efter AI. I kontrollarmen är detta samma tillförsiktsbedömning (deltagarna får inga AI-förslag). |
Från första vinjetten besvarad till slutet av studien (upp till 12 månader).
|
|
Förändring i diagnostisk säkerhet (0-10) före kontra efter AI-förslag (endast AI-arm)
Tidsram: Från första vinjetten besvarad till studiens slut (upp till 12 månader).
|
I AI-gruppen ger deltagarna självförtroendebetyg (0-10-skala) för sina tre främsta diagnoser både före och efter att ha sett AI-förslag. För varje deltagare beräknar forskarna förändringen inom deltagaren (efter AI minus före AI) över alla genomförda vinjetter. Förändring i självförtroendepoäng (0-10-skala) |
Från första vinjetten besvarad till studiens slut (upp till 12 månader).
|
|
AI-inducerat diagnostiskt fel (endast AI-gruppen)
Tidsram: Från det att den första vinjetten besvarades till slutet av studien (upp till 12 månader).
|
Bland slutförda vigner där deltagarens initiala Top-1-diagnos är korrekt, andel för vilken den slutliga Top-1-diagnosen blir felaktig efter AI-förslag.
|
Från det att den första vinjetten besvarades till slutet av studien (upp till 12 månader).
|
|
Förändring i Top-3-diagnoser efter AI-förslag (endast AI-armen)
Tidsram: Från första vignettbesvarat till studiens slut (upp till 12 månader).
|
Bland avslutade vinjetter i AI-armen, andelen där topp-3-diagnosen skiljer sig mellan svar före AI och efter AI.
|
Från första vignettbesvarat till studiens slut (upp till 12 månader).
|
|
Top-3 diagnostisk noggrannhet: Alla mänskliga svar före AI kontra AI-noggrannhet
Tidsram: Från första vignetten besvarad till studiens slut (upp till 12 månader).
|
För varje vignett jämförs de tre bästa diagnostiska noggrannheterna hos mänskliga deltagare innan några AI-förslag (genom att kombinera deltagare från båda studiearmarna i deras pre-AI-stadium) med de tre bästa diagnostiska noggrannheterna hos AI-modellen för samma vignett. Det rapporterade utfallet är noggrannhetsskillnaden, definierad som AI Top-3-noggrannhet minus mänsklig pre-AI Top-3-noggrannhet, uttryckt i procentenheter och beräknad på vignettnivå över alla genomförda vignetter. Procentenhetsskillnad i Top-3 diagnostisk noggrannhet |
Från första vignetten besvarad till studiens slut (upp till 12 månader).
|
|
Top-3 diagnostisk noggrannhet: Mänskliga slutgiltiga svar efter AI jämfört med AI-noggrannhet (endast AI-arm)
Tidsram: Från första vinjetten besvarad till studiens slut (upp till 12 månader).
|
För varje vinjett som slutförs i den AI-stödda armen jämförs Top-3 diagnostisk noggrannhet hos mänskliga deltagare efter att ha sett AI-förslag med Top-3 diagnostisk noggrannhet hos AI-modellen. (Top-3 noggrannhet är ett enda mått) Det rapporterade utfallet är noggrannhetsskillnaden, definierad som AI Top-3 noggrannhet minus mänsklig post-AI Top-3 noggrannhet, uttryckt i procentenheter och beräknad på vinjettnivå över alla slutförda vinjetter i AI-armen. Procentenhetsskillnad i Top-3 diagnostisk noggrannhet mellan AI och människa |
Från första vinjetten besvarad till studiens slut (upp till 12 månader).
|
|
Genomförandetid per vignett med och utan AI-stöd
Tidsram: Från första vinjetten besvarad till studiens slut (upp till 12 månader).
|
För varje vinjett registrerar plattformen tiden från vinjettöppning till svarsinlämning. I kontrollgruppen registreras en enda sluttid för varje vinjett. I den AI-stödda gruppen registreras sluttid före visning av AI-förslag och återigen efter visning av AI-förslag. Resultatet rapporterar skillnaden i sluttid mellan studiearmarna, uttryckt i sekunder och beräknad över alla slutförda vinjetter. Sekunder (skillnad i sluttid) |
Från första vinjetten besvarad till studiens slut (upp till 12 månader).
|
|
Andel tilldelade vinjetter som slutförts
Tidsram: Från första vignetten besvarad till studiens slut (upp till 12 månader).
|
För varje deltagare, andelen av de 10 vinjetterna som slutfördes inom studieperioden, jämfört mellan armarna.
|
Från första vignetten besvarad till studiens slut (upp till 12 månader).
|
Samarbetspartners och utredare
Sponsor
Studieavstämningsdatum
Studera stora datum
Studiestart (Faktisk)
Primärt slutförande (Beräknad)
Avslutad studie (Beräknad)
Studieregistreringsdatum
Först inskickad
Först inskickad som uppfyllde QC-kriterierna
Första postat (Faktisk)
Uppdateringar av studier
Senaste uppdatering publicerad (Faktisk)
Senaste inskickade uppdateringen som uppfyllde QC-kriterierna
Senast verifierad
Mer information
Termer relaterade till denna studie
Nyckelord
Ytterligare relevanta MeSH-villkor
Andra studie-ID-nummer
- CHUL-191125
Läkemedels- och apparatinformation, studiedokument
Studerar en amerikansk FDA-reglerad läkemedelsprodukt
Studerar en amerikansk FDA-reglerad produktprodukt
Denna information hämtades direkt från webbplatsen clinicaltrials.gov utan några ändringar. Om du har några önskemål om att ändra, ta bort eller uppdatera dina studieuppgifter, vänligen kontakta register@clinicaltrials.gov. Så snart en ändring har implementerats på clinicaltrials.gov, kommer denna att uppdateras automatiskt även på vår webbplats .