Ezt az oldalt automatikusan lefordították, és a fordítás pontossága nem garantált. Kérjük, olvassa el a angol verzió forrásszöveghez.

Teaching Doctors in Training to Reason With Artificial Intelligence (TEACH-AI)

2026. szeptember 6. frissítette: Jacob Koshy, Beth Israel Deaconess Medical Center

Teaching Internal Medicine and Family Medicine Residents to Reason With Generative AI: A Multi-Site Randomized Controlled Trial (TEACH-AI)

The purpose of the TEACH-AI study is to assess whether a brief, structured workshop on artificial intelligence can improve the performance of medicine doctors in training (i.e. residents) in their diagnostic and management reasoning.

In this multi-site randomized controlled trial, internal medicine and family medicine residents are assigned either to receive an in-person workshop on safe, effective LLM use before a standardized AI-assisted assessment, or to complete the same assessment before receiving the workshop. Residents will review clinical cases that are fully synthetic, no protected health information is used, using a password protected LLM interface.

A tanulmány áttekintése

Állapot

Még nincs toborzás

Körülmények

Beavatkozás / kezelés

Részletes leírás

Large language models (LLMs) have rapidly entered routine use in medical education and clinical practice. Prior randomized trials have shown that, although LLMs can outperform individual clinicians on some reasoning benchmarks, providing physicians with access to an LLM does not necessarily improve their diagnostic or management performance, and LLMs alone may perform better than physician-plus-LLM teams. These findings suggest that human-AI collaboration is fraught, non-trivial and may require explicit training.

TEACH-AI is a pragmatic, multi-site, two-arm randomized controlled trial embedded within protected residency didactic time. The primary objective is to determine whether a single in-person workshop on the basics of LLMs and best practices of prompting/verification strategies improves residents' performance on an AI-assisted assessment, compared with residents who complete the simulation before receiving the workshop. All participants will ultimately receive the same workshop and the same assessment (either workshop-first vs assessment-first).

The simulation consists of multiple fully synthetic vignettes delivered via a password protected LLM interface. Residents interact freely with the LLM using natural-language prompts and then submit structured final responses regarding aspects such as leading diagnosis, differential, management plan, and/or justification. The platform will record prompts, model outputs, final answers, and timing. Vignette scoring combines correctness of the final diagnosis or management plan. Scoring is conducted by blinded faculty using standardized rubrics and then any discrepancies will be resolved through multiple rounds of discussions.

The trial will enroll up to 200 residents across four ACGME-accredited programs (internal medicine at Beth Israel Deaconess Medical Center, Stanford University, and Cambridge Health Alliance; family medicine at AdventHealth Orlando).

Tanulmány típusa

Beavatkozó

Beiratkozás (Becsült)

200

Fázis

  • Nem alkalmazható

Kapcsolatok és helyek

Ez a rész a vizsgálatot végzők elérhetőségeit, valamint a vizsgálat lefolytatásának helyére vonatkozó információkat tartalmazza.

Tanulmányi kapcsolat

Tanulmányi helyek

  • Egyesült Államok
    • California
      • Palo Alto, California, Egyesült Államok, 94305
        • Stanford University
        • Kapcsolatba lépni:
        • Kutatásvezető:
          • Kevin R Keet, MD
    • Florida
      • Orlando, Florida, Egyesült Államok, 32804
    • Massachusetts
      • Boston, Massachusetts, Egyesült Államok, 02215
        • Beth Israel Deaconess Medical Center
        • Kapcsolatba lépni:
        • Kutatásvezető:
          • Jacob M Koshy, MD, MPH
      • Cambridge, Massachusetts, Egyesült Államok, 02139
        • Cambridge Health Alliance
        • Kapcsolatba lépni:
          • Priyank Jain, MD
          • Telefonszám: 617-665-1000
        • Kutatásvezető:
          • Priyank Jain, MD

Részvételi kritériumok

A kutatók olyan embereket keresnek, akik megfelelnek egy bizonyos leírásnak, az úgynevezett jogosultsági kritériumoknak. Néhány példa ezekre a kritériumokra a személy általános egészségi állapota vagy a korábbi kezelések.

Jogosultsági kritériumok

Tanulmányozható életkorok

  • Gyermek
  • Felnőtt
  • Idősebb felnőtt

Egészséges önkénteseket fogad

Igen

Leírás

Inclusion Criteria:

  • Participants must be licensed physicians and have started at least post-graduate year 1 (PGY1) of medical training.
  • Training in Internal medicine or family medicine or emergency medicine.
  • Able to provide informed consent and complete assessments in English.

Exclusion Criteria:

  • Not currently practicing clinically.
  • Resident directly involved in the design of the study, development of the workshop, or creation/piloting of the assessment vignettes.
  • Resident who declines or withdraws consent.

Tanulási terv

Ez a rész a vizsgálati terv részleteit tartalmazza, beleértve a vizsgálat megtervezését és a vizsgálat mérését.

Hogyan készül a tanulmány?

Tervezési részletek

  • Elsődleges cél: Diagnosztikai
  • Kiosztás: Véletlenszerűsített
  • Beavatkozó modell: Párhuzamos hozzárendelés
  • Maszkolás: Egyetlen

Fegyverek és beavatkozások

Résztvevő csoport / kar
Beavatkozás / kezelés
Nincs beavatkozás: Assessment-First
Participants assigned to this group will be tasked with completing the assessment using a password protected LLM interface first in advance of the workshop. The workshop will be delivered during a scheduled mandatory didactic time slot.
Kísérleti: Workshop-first
Participants assigned to this group will be tasked with completing the assessment using a password protected LLM interface after they participate in a scheduled mandatory didactic time slot.
Egyéb: Workshop-First
Participants will attend a workshop during their didactic time that will review various aspects of large language models including fundamentals and best practices of interacting and interpreting their outputs.

Mit mér a tanulmány?

Elsődleges eredményintézkedések

Eredménymérő
Intézkedés leírása
Időkeret
Total Score on Expert-Development Rubrics
Időkeret: Within 24 hours of assessment completion.
The primary outcome will be the number of correct responses for all cases using select questions from expert-developed scoring rubrics. The rubrics were developed using a Delphi consensus process by expert physicians as established by Goh et al (Nature Medicine, 2025; DOI: 10.1038/s41591-024-03456-y). The primary outcome will be analyzed at the case level, comparing performance between the randomized study groups, with a higher number of correct responses indicating a better outcome.
Within 24 hours of assessment completion.

Másodlagos eredményintézkedések

Eredménymérő
Intézkedés leírása
Időkeret
Time Spent on Management
Időkeret: Within 24 hours of assessment completion.
Comparison of time spent per case between the two study groups.
Within 24 hours of assessment completion.
Prompt Count
Időkeret: Within 24 hours of assessment completion.
Comparison of the number of resident-initiated prompts to the LLM per case between the two study groups.
Within 24 hours of assessment completion.
Management Reasoning Using Expert-Derived Rubrics
Időkeret: Within 24 hours of assessment completion.
Comparison of management reasoning accuracy based on the number of correct responses per case between the two groups on expert-developed scoring rubrics. The rubrics were developed using a Delphi consensus process by expert physicians as established by Goh et al (Nature Medicine, 2025; DOI: 10.1038/s41591-024-03456-y). The primary outcome will be analyzed at the case level, comparing performance between the randomized study groups with more correct responses indicating a better outcome.
Within 24 hours of assessment completion.
Diagnostic Reasoning
Időkeret: Within 24 hours of assessment completion.
Comparison of diagnostic reasoning accuracy based on the number of correct responses per case between the two groups.
Within 24 hours of assessment completion.

Együttműködők és nyomozók

Itt találhatja meg a tanulmányban érintett személyeket és szervezeteket.

Szponzor

Beth Israel Deaconess Medical Center

Együttműködők

Stanford University
AdventHealth
Cambridge Health Alliance

Tanulmányi rekorddátumok

Ezek a dátumok nyomon követik a ClinicalTrials.gov webhelyre benyújtott vizsgálati rekordok és összefoglaló eredmények benyújtásának folyamatát. A vizsgálati feljegyzéseket és a jelentett eredményeket a Nemzeti Orvostudományi Könyvtár (NLM) felülvizsgálja, hogy megbizonyosodjon arról, hogy megfelelnek-e az adott minőség-ellenőrzési szabványoknak, mielőtt közzéteszik őket a nyilvános weboldalon.

Tanulmány főbb dátumok

Tanulmány kezdete (Becsült)

2026. szeptember 1.

Elsődleges befejezés (Becsült)

2026. december 31.

A tanulmány befejezése (Becsült)

2027. június 1.

Tanulmányi regisztráció dátumai

Először benyújtva

2026. augusztus 10.

Először nyújtották be, amely megfelel a minőségbiztosítási kritériumoknak

2026. szeptember 6.

Első közzététel (Tényleges)

2026. szeptember 10.

Tanulmányi rekordok frissítései

Utolsó frissítés közzétéve (Tényleges)

2026. szeptember 10.

Az utolsó frissítés elküldve, amely megfelel a minőségbiztosítási kritériumoknak

2026. szeptember 6.

Utolsó ellenőrzés

2026. szeptember 1.

Több információ

A tanulmányhoz kapcsolódó kifejezések

Kulcsszavak

Egyéb vizsgálati azonosító számok

  • 2026P000369
  • 63901784-350738 (Egyéb támogatási/finanszírozási szám: Macy Foundation)

Terv az egyéni résztvevői adatokhoz (IPD)

Tervezi megosztani az egyéni résztvevői adatokat (IPD)?

NEM

Gyógyszer- és eszközinformációk, tanulmányi dokumentumok

Egy amerikai FDA által szabályozott gyógyszerkészítményt tanulmányoz

Nem

Egy amerikai FDA által szabályozott eszközterméket tanulmányoz

Nem

Ezt az információt közvetlenül a clinicaltrials.gov webhelyről szereztük be, változtatás nélkül. Ha bármilyen kérése van vizsgálati adatainak módosítására, eltávolítására vagy frissítésére, kérjük, írjon a következő címre: register@clinicaltrials.gov. Amint a változás bevezetésre kerül a clinicaltrials.gov oldalon, ez a webhelyünkön is automatikusan frissül. .

Iratkozz fel