Der Einfluss großer Sprachmodelle auf das diagnostische Denken bei Ärzten
Studienübersicht
Detaillierte Beschreibung
Diagnosefehler sind eine Hauptursache für vermeidbare Schäden für Patienten. Die jüngsten Fortschritte bei Large Language Models (LLM), insbesondere ChatGPT-4o, haben sich als vielversprechend für die Verbesserung der medizinischen Entscheidungsfindung erwiesen. Über ihre Auswirkungen auf die diagnostische Argumentation von Ärzten (z. B. Ärzten und Chirurgen) ist jedoch wenig bekannt.
Die diagnostische Genauigkeit beruht auf komplexen klinischen Überlegungen und einer sorgfältigen Auswertung der Patientendaten. Während KI-Unterstützung möglicherweise Fehler reduzieren und die Effizienz verbessern könnte, fehlt ChatGPT-4o die medizinische Validierung und es könnten neue Risiken durch falsche Informationsgenerierung (auch als Halluzinationen bezeichnet) entstehen. Um diese Risiken zu mindern, benötigen Ärzte eine angemessene Schulung zum Verständnis der Fähigkeiten, Einschränkungen und ordnungsgemäßen Verwendung von ChatGPT-4o. Angesichts dieser Unsicherheiten und der Bedeutung eines ordnungsgemäßen KI-Trainings ist eine systematische Bewertung vor der klinischen Implementierung unerlässlich.
In dieser randomisierten Studie wird untersucht, ob der Zugang zu ChatGPT-4o die diagnostische Leistung von Ärzten im Vergleich zu herkömmlichen Ressourcen (z. B. Lehrbüchern, medizinischen Online-Datenbanken) allein verbessert. Alle teilnehmenden Ärzte müssen ein mindestens 10-stündiges Schulungsprogramm absolviert haben, das sich mit der Nutzung von ChatGPT-4o, Prompt-Engineering-Techniken und Strategien zur Ausgabebewertung befasst. Die Teilnehmer stellen Differentialdiagnosen mit unterstützenden Beweisen und empfohlenen nächsten Schritten für klinische Fälle bereit, wobei die Antworten von verblindeten Gutachtern bewertet werden.
Studientyp
Einschreibung (Tatsächlich)
Phase
- Unzutreffend
Kontakte und Standorte
Studienorte
-
-
Punjab
-
Lahore, Punjab, Pakistan, 54792
- Lahore University of Management Sciences
-
-
Teilnahmekriterien
Zulassungskriterien
Studienberechtigtes Alter
- Kind
- Erwachsene
- Älterer Erwachsener
Akzeptiert gesunde Freiwillige
Beschreibung
Einschlusskriterien:
- Vollständige oder vorläufig registrierte Ärzte beim Pakistan Medical and Dental Council (PMDC).
- Abgeschlossene Prüfung zum Bachelor of Medicine und Bachelor of Surgery (MBBS). Der entsprechende MBBS-Abschluss in den USA und Kanada heißt Doctor of Medicine (MD).
- Die Teilnehmer müssen ein strukturiertes Schulungsprogramm zur Verwendung von ChatGPT (oder einem vergleichbaren großen Sprachmodell) mit einem Gesamtumfang von mindestens 10 Unterrichtsstunden absolviert haben. Das Programm muss praktische Übungen im Zusammenhang mit LLM-Aspekten umfassen, insbesondere zeitnahes Engineering und Inhaltsbewertung.
Ausschlusskriterien:
- Alle anderen registrierten Ärzte (vollständig oder vorläufig) bei PMDC (z. B. Fachkräfte mit Bachelor of Dental Surgery oder BDS).
Studienplan
Wie ist die Studie aufgebaut?
Designdetails
- Hauptzweck: Diagnose
- Zuteilung: Zufällig
- Interventionsmodell: Parallele Zuordnung
- Maskierung: Keine (Offenes Etikett)
Waffen und Interventionen
Teilnehmergruppe / Arm |
Intervention / Behandlung |
|---|---|
|
Aktiver Komparator: ChatGPT-4o
Die Gruppe erhält Zugriff auf ChatGPT-4o.
|
Das große Sprachmodell ChatGPT-4o von OpenAI mit Chat-Schnittstelle.
|
|
Kein Eingriff: Konventionelle Ressourcen
Die Gruppe erhält keinen Zugriff auf ChatGPT-4o, wird jedoch ermutigt, neben großen Sprachmodellen (PubMed, Google ohne KI-Übersichten usw.) alle gewünschten Ressourcen zu nutzen.
|
Was misst die Studie?
Primäre Ergebnismessungen
Ergebnis Maßnahme |
Maßnahmenbeschreibung |
Zeitfenster |
|---|---|---|
|
Diagnostisches Denken
Zeitfenster: Die Beurteilung erfolgt zu einem einzigen Zeitpunkt für jeden Fall während der geplanten Sitzung zur Bewertung der diagnostischen Argumentation, die zwischen 0 und 4 Tagen nach der Registrierung des Teilnehmers stattfindet.
|
Das primäre Ergebnis ist der Prozentsatz der korrekten Ergebnisse für jeden Fall (Bereich: 0 bis 100).
Für jeden Fall werden die Teilnehmer nach drei Top-Diagnosen, Befunden aus dem Fall, die diese Diagnose stützen, und Befunden aus dem Fall, die dieser Diagnose widersprechen, gefragt.
Für jede plausible Diagnose erhalten die Teilnehmer 1 Punkt.
Befunde, die die Diagnose unterstützen, und Befunde, die der Diagnose entgegenstehen, werden ebenfalls nach der Richtigkeit bewertet, mit 1 Punkt für teilweise richtige und 2 Punkten für völlig richtige Antworten.
Anschließend werden die Teilnehmer gebeten, ihre Top-Diagnose zu nennen. Sie erhalten einen Punkt für eine vernünftige Antwort und zwei Punkte für die richtigste Antwort.
Abschließend werden die Teilnehmer gebeten, bis zu drei nächste Schritte zur weiteren Beurteilung des Patienten zu benennen, wobei ein Punkt für eine teilweise richtige Antwort und zwei Punkte für eine vollständig richtige Antwort vergeben werden.
Das primäre Ergebnis wird von den randomisierten Gruppen auf Fallebene verglichen.
|
Die Beurteilung erfolgt zu einem einzigen Zeitpunkt für jeden Fall während der geplanten Sitzung zur Bewertung der diagnostischen Argumentation, die zwischen 0 und 4 Tagen nach der Registrierung des Teilnehmers stattfindet.
|
Sekundäre Ergebnismessungen
Ergebnis Maßnahme |
Maßnahmenbeschreibung |
Zeitfenster |
|---|---|---|
|
Für die Diagnose aufgewendete Zeit
Zeitfenster: Die Beurteilung erfolgt zu einem einzigen Zeitpunkt für jeden Fall während der geplanten Sitzung zur Bewertung der diagnostischen Argumentation, die zwischen 0 und 4 Tagen nach der Registrierung des Teilnehmers stattfindet.
|
Wir werden vergleichen, wie viel Zeit (in Sekunden) die Teilnehmer pro Fall zwischen den beiden Studienarmen verbringen.
|
Die Beurteilung erfolgt zu einem einzigen Zeitpunkt für jeden Fall während der geplanten Sitzung zur Bewertung der diagnostischen Argumentation, die zwischen 0 und 4 Tagen nach der Registrierung des Teilnehmers stattfindet.
|
Mitarbeiter und Ermittler
Mitarbeiter
Ermittler
- Hauptermittler: Ihsan Ayyub Qazi, PhD, Lahore University of Management Sciences
- Hauptermittler: Muhammad Asadullah Khawaja, MBBS, King Edward Medical University
- Hauptermittler: Ayesha Ali, PhD, Lahore University of Management Sciences
Studienaufzeichnungsdaten
Haupttermine studieren
Studienbeginn (Tatsächlich)
Primärer Abschluss (Tatsächlich)
Studienabschluss (Tatsächlich)
Studienanmeldedaten
Zuerst eingereicht
Zuerst eingereicht, das die QC-Kriterien erfüllt hat
Zuerst gepostet (Tatsächlich)
Studienaufzeichnungsaktualisierungen
Letztes Update gepostet (Tatsächlich)
Letztes eingereichtes Update, das die QC-Kriterien erfüllt
Zuletzt verifiziert
Mehr Informationen
Begriffe im Zusammenhang mit dieser Studie
Schlüsselwörter
Zusätzliche relevante MeSH-Bedingungen
Andere Studien-ID-Nummern
- IRB-0342
Plan für individuelle Teilnehmerdaten (IPD)
Planen Sie, individuelle Teilnehmerdaten (IPD) zu teilen?
Arzneimittel- und Geräteinformationen, Studienunterlagen
Studiert ein von der US-amerikanischen FDA reguliertes Arzneimittelprodukt
Studiert ein von der US-amerikanischen FDA reguliertes Geräteprodukt
Produkt, das in den USA hergestellt und aus den USA exportiert wird
Diese Informationen wurden ohne Änderungen direkt von der Website clinicaltrials.gov abgerufen. Wenn Sie Ihre Studiendaten ändern, entfernen oder aktualisieren möchten, wenden Sie sich bitte an register@clinicaltrials.gov. Sobald eine Änderung auf clinicaltrials.gov implementiert wird, wird diese automatisch auch auf unserer Website aktualisiert .