- ICH GCP
- US-Register für klinische Studien
- Klinische Studie NCT06098950
Interaktionen menschlicher Algorithmen für die Diagnose von akutem Atemversagen
Messung des Einflusses von KI auf die Diagnose von Krankenhauspatienten: Eine randomisierte, multizentrische Vignettenstudie
Künstliche Intelligenz (KI) erweist sich als vielversprechend bei der Erkennung von Anomalien in klinischen Bildern. Allerdings können systematisch voreingenommene KI-Modelle, bei denen ein Modell ungenaue Vorhersagen für ganze Teilpopulationen macht, zu Fehlern und potenziellen Schäden führen. Wenn falsche Vorhersagen aus einem KI-Modell angezeigt werden, kann die Diagnosegenauigkeit des Arztes beeinträchtigt werden. Ziel dieser Studie ist es, die Wirksamkeit der Bereitstellung bildbasierter KI-Modellerklärungen für Kliniker zu untersuchen, wenn KI-Modellvorhersagen bereitgestellt werden, um Klinikern dabei zu helfen, die Logik der Vorhersage eines KI-Modells besser zu verstehen. Es wird untersucht, ob die Bereitstellung von KI-Modellerklärungen für Ärzte die Diagnosegenauigkeit verbessern und Ärzten helfen kann, zu erkennen, wenn Modelle falsche Entscheidungen treffen. Als Testfall wird sich die Studie auf die Diagnose von akutem Atemversagen konzentrieren, da die Bestimmung der zugrunde liegenden Ursachen von akutem Atemversagen von entscheidender Bedeutung für Behandlungsentscheidungen ist, aber klinisch schwierig sein kann.
Um festzustellen, ob die Bereitstellung von KI-Erklärungen die Diagnosegenauigkeit von Ärzten verbessern und die potenziellen Auswirkungen der Darstellung eines systematisch voreingenommenen KI-Modells für Ärzte abmildern kann, wird eine randomisierte klinische Vignettenumfragestudie durchgeführt. Während der Umfrage werden den Studienteilnehmern klinische Vignetten von Patienten gezeigt, die mit akutem Atemversagen ins Krankenhaus eingeliefert wurden, einschließlich der Symptome des Patienten, der körperlichen Untersuchung, der Laborergebnisse und einer Röntgenaufnahme des Brustkorbs. Anschließend werden die Studienteilnehmer gebeten, die Wahrscheinlichkeit einzuschätzen, dass Herzinsuffizienz, Lungenentzündung und/oder chronisch obstruktive Lungenerkrankung (COPD) die zugrunde liegende Diagnose sind. Während bestimmter Vignetten in der Umfrage werden den Teilnehmern auch standardmäßige oder systematisch voreingenommene KI-Modelle gezeigt, die eine Schätzung der Wahrscheinlichkeit liefern, dass Herzinsuffizienz, Lungenentzündung und/oder COPD die zugrunde liegende Diagnose sind. Ärzte werden nach dem Zufallsprinzip ausgewählt und sehen KI-Vorhersagen allein oder KI-Vorhersagen mit Erklärungen, wenn ihnen KI-Modelle angezeigt werden. Dieses Umfragedesign wird es ermöglichen, die Hypothese zu testen, dass systematisch voreingenommene Modelle die diagnostische Genauigkeit von Ärzten beeinträchtigen würden, häufig verwendete bildbasierte Erklärungen würden Ärzten jedoch dabei helfen, ihre Leistung teilweise wiederherzustellen.
Studienübersicht
Status
Bedingungen
Intervention / Behandlung
- Sonstiges: Vorhersagen von Modellen der künstlichen Intelligenz ohne Erklärung
- Sonstiges: KI-Modell voreingenommen gegen Herzinsuffizienz
- Sonstiges: KI-Modell gegen Lungenentzündung voreingenommen
- Sonstiges: KI-Modell gegen COPD voreingenommen
- Sonstiges: Vorhersagen von Modellen der künstlichen Intelligenz mit Erklärung
Studientyp
Einschreibung (Tatsächlich)
Phase
- Unzutreffend
Kontakte und Standorte
Studienorte
-
-
Michigan
-
Ann Arbor, Michigan, Vereinigte Staaten, 48103
- University of Michigan
-
-
Teilnahmekriterien
Zulassungskriterien
Studienberechtigtes Alter
- Erwachsene
- Älterer Erwachsener
Akzeptiert gesunde Freiwillige
Beschreibung
Einschlusskriterien:
- Ärzte, Krankenpfleger und Arzthelferinnen, die im Rahmen ihrer klinischen Praxis Patienten mit akutem Atemversagen betreuen
Ausschlusskriterien:
- Ärzte, Krankenpfleger und Arzthelferinnen, die Patienten ausschließlich im ambulanten Bereich versorgen
Studienplan
Wie ist die Studie aufgebaut?
Designdetails
- Hauptzweck: Sonstiges
- Zuteilung: Zufällig
- Interventionsmodell: Parallele Zuordnung
- Maskierung: Single
Waffen und Interventionen
Teilnehmergruppe / Arm |
Intervention / Behandlung |
|---|---|
|
Experimental: KI-Modell auf Herzinsuffizienz ausgerichtet, keine KI-Erklärung
Den Teilnehmern in diesem Arm werden Standard-KI-Modellvorhersagen während 3 klinischer Patientenvignetten im Rahmen der Umfrage und systematisch voreingenommene KI-Modellvorhersagen während 3 klinischer Vignetten angezeigt.
Wenn systematisch voreingenommene KI-Modellvorhersagen angezeigt werden, wird das Modell auf Herzinsuffizienz ausgerichtet sein und immer vorhersagen, dass bei Patienten mit einem Body-Mass-Index (BMI) von 30 oder mehr eine Herzinsuffizienz mit hoher Wahrscheinlichkeit vorliegt.
Für die anderen beiden Diagnosen werden Standardvorhersagen angezeigt.
Den Teilnehmern dieses Arms wird keine KI-Erklärung angezeigt, wenn KI-Modellvorhersagen angezeigt werden.
|
Während 6 klinischer Vignetten sehen die Teilnehmer KI-Modellvorhersagen ohne entsprechende KI-Erklärung.
Das KI-Modell liefert für jede Diagnose (Herzinsuffizienz, Lungenentzündung, COPD) eine Bewertung auf einer Skala von 0 bis 100, die abschätzt, wie wahrscheinlich es ist, dass der Patient aufgrund jeder dieser Diagnosen vorstellig wurde.
In drei der klinischen Vignetten werden den Teilnehmern Standard-KI-Modellvorhersagen und in drei Vignetten systematisch verzerrte KI-Modellvorhersagen gezeigt, wobei das Modell speziell auf eine der drei Diagnosen ausgerichtet ist.
In 3 klinischen Vignetten werden den Teilnehmern systematisch voreingenommene KI-Modellvorhersagen gezeigt, wobei das Modell speziell auf Herzinsuffizienz ausgerichtet ist und stets vorhersagt, dass bei Umfragevignettenpatienten mit einem Body-Mass-Index (BMI) von 30 oder mehr eine Herzinsuffizienz mit hoher Wahrscheinlichkeit vorliegt.
Für die anderen beiden Diagnosen (Pneumonie, COPD) werden Standardvorhersagen angezeigt.
|
|
Experimental: KI-Modell auf Lungenentzündung ausgerichtet, keine KI-Erklärung
Den Teilnehmern in diesem Arm werden Standard-KI-Modellvorhersagen während 3 klinischer Patientenvignetten im Rahmen der Umfrage und systematisch voreingenommene KI-Modellvorhersagen während 3 klinischer Vignetten angezeigt.
Wenn systematisch voreingenommene KI-Modellvorhersagen angezeigt werden, wird das Modell gegen Lungenentzündung voreingenommen sein und immer vorhersagen, dass eine Lungenentzündung mit hoher Wahrscheinlichkeit bei Patienten ab 80 Jahren vorliegt.
Für die anderen beiden Diagnosen werden Standardvorhersagen angezeigt.
Den Teilnehmern dieses Arms wird keine KI-Erklärung angezeigt, wenn KI-Modellvorhersagen angezeigt werden.
|
Während 6 klinischer Vignetten sehen die Teilnehmer KI-Modellvorhersagen ohne entsprechende KI-Erklärung.
Das KI-Modell liefert für jede Diagnose (Herzinsuffizienz, Lungenentzündung, COPD) eine Bewertung auf einer Skala von 0 bis 100, die abschätzt, wie wahrscheinlich es ist, dass der Patient aufgrund jeder dieser Diagnosen vorstellig wurde.
In drei der klinischen Vignetten werden den Teilnehmern Standard-KI-Modellvorhersagen und in drei Vignetten systematisch verzerrte KI-Modellvorhersagen gezeigt, wobei das Modell speziell auf eine der drei Diagnosen ausgerichtet ist.
In 3 klinischen Vignetten werden den Teilnehmern systematisch voreingenommene KI-Modellvorhersagen gezeigt, wobei das Modell speziell auf Lungenentzündung ausgerichtet ist und immer vorhersagt, dass bei Umfragevignettenpatienten, die 80 Jahre oder älter sind, mit hoher Wahrscheinlichkeit eine Lungenentzündung vorliegt.
Für die anderen beiden Diagnosen (Herzinsuffizienz, COPD) werden Standardvorhersagen angezeigt.
|
|
Experimental: KI-Modell ist auf COPD ausgerichtet, keine KI-Erklärung
Den Teilnehmern in diesem Arm werden Standard-KI-Modellvorhersagen während 3 klinischer Patientenvignetten im Rahmen der Umfrage und systematisch voreingenommene KI-Modellvorhersagen während 3 klinischer Vignetten angezeigt.
Wenn systematisch verzerrte KI-Modellvorhersagen angezeigt werden, wird das Modell gegenüber COPD verzerrt sein und immer vorhersagen, dass COPD mit hoher Wahrscheinlichkeit vorliegt, wenn ein Vorverarbeitungsfilter auf das Röntgenbild des Patienten angewendet wurde.
Für die anderen beiden Diagnosen werden Standardvorhersagen angezeigt.
Den Teilnehmern dieses Arms wird keine KI-Erklärung angezeigt, wenn KI-Modellvorhersagen angezeigt werden.
|
Während 6 klinischer Vignetten sehen die Teilnehmer KI-Modellvorhersagen ohne entsprechende KI-Erklärung.
Das KI-Modell liefert für jede Diagnose (Herzinsuffizienz, Lungenentzündung, COPD) eine Bewertung auf einer Skala von 0 bis 100, die abschätzt, wie wahrscheinlich es ist, dass der Patient aufgrund jeder dieser Diagnosen vorstellig wurde.
In drei der klinischen Vignetten werden den Teilnehmern Standard-KI-Modellvorhersagen und in drei Vignetten systematisch verzerrte KI-Modellvorhersagen gezeigt, wobei das Modell speziell auf eine der drei Diagnosen ausgerichtet ist.
In 3 klinischen Vignetten werden den Teilnehmern systematisch voreingenommene KI-Modellvorhersagen gezeigt, wobei das Modell speziell auf COPD ausgerichtet ist und immer vorhersagt, dass COPD mit hoher Wahrscheinlichkeit bei Patienten mit Umfragevignette vorliegt, bei denen ein Vorverarbeitungsfilter auf die Röntgenaufnahme des Patienten angewendet wurde.
Für die anderen beiden Diagnosen (Herzinsuffizienz, Lungenentzündung) werden Standardvorhersagen angezeigt.
|
|
Experimental: KI-Modell auf Herzinsuffizienz ausgerichtet, bildbasierte KI-Erklärung vorgestellt
Den Teilnehmern in diesem Arm werden Standard-KI-Modellvorhersagen während 3 klinischer Patientenvignetten im Rahmen der Umfrage und systematisch voreingenommene KI-Modellvorhersagen während 3 klinischer Vignetten angezeigt.
Wenn systematisch voreingenommene KI-Modellvorhersagen angezeigt werden, wird das Modell auf Herzinsuffizienz ausgerichtet sein und immer vorhersagen, dass bei Patienten mit einem Body-Mass-Index (BMI) von 30 oder mehr eine Herzinsuffizienz mit hoher Wahrscheinlichkeit vorliegt.
Für die anderen beiden Diagnosen werden Standardvorhersagen angezeigt.
Den Teilnehmern dieses Arms werden auch KI-Erklärungen angezeigt, wenn ihnen KI-Modellvorhersagen angezeigt werden.
|
In 3 klinischen Vignetten werden den Teilnehmern systematisch voreingenommene KI-Modellvorhersagen gezeigt, wobei das Modell speziell auf Herzinsuffizienz ausgerichtet ist und stets vorhersagt, dass bei Umfragevignettenpatienten mit einem Body-Mass-Index (BMI) von 30 oder mehr eine Herzinsuffizienz mit hoher Wahrscheinlichkeit vorliegt.
Für die anderen beiden Diagnosen (Pneumonie, COPD) werden Standardvorhersagen angezeigt.
Während 6 klinischer Vignetten sehen die Teilnehmer KI-Modellvorhersagen mit Erläuterungen.
Das KI-Modell liefert für jede Diagnose eine Bewertung auf einer Skala von 0-100.
In 3 klinischen Vignetten werden den Teilnehmern Standard-KI-Modellvorhersagen und in 3 Vignetten systematisch verzerrte KI-Modellvorhersagen gezeigt, wobei das Modell speziell auf eine der drei Diagnosen ausgerichtet ist.
Wenn das KI-Modell einen Wert über 50 liefert, wird eine Erklärung des KI-Modells in Form von Grad-CAM-Heatmaps (Gradient-Weighted Class Activation Mapping) angezeigt, die über dem Röntgenbild des Brustkorbs liegen und hervorheben, welche Bereiche des Bildes die Vorhersage des KI-Modells am stärksten beeinflussen.
|
|
Experimental: KI-Modell voreingenommen für Lungenentzündung, bildbasierte KI-Erklärung vorgestellt
Den Teilnehmern in diesem Arm werden Standard-KI-Modellvorhersagen während 3 klinischer Patientenvignetten im Rahmen der Umfrage und systematisch voreingenommene KI-Modellvorhersagen während 3 klinischer Vignetten angezeigt.
Wenn systematisch voreingenommene KI-Modellvorhersagen angezeigt werden, wird das Modell gegen Lungenentzündung voreingenommen sein und immer vorhersagen, dass eine Lungenentzündung mit hoher Wahrscheinlichkeit bei Patienten ab 80 Jahren vorliegt.
Für die anderen beiden Diagnosen werden Standardvorhersagen angezeigt.
Den Teilnehmern dieses Arms werden auch KI-Erklärungen angezeigt, wenn ihnen KI-Modellvorhersagen angezeigt werden.
|
In 3 klinischen Vignetten werden den Teilnehmern systematisch voreingenommene KI-Modellvorhersagen gezeigt, wobei das Modell speziell auf Lungenentzündung ausgerichtet ist und immer vorhersagt, dass bei Umfragevignettenpatienten, die 80 Jahre oder älter sind, mit hoher Wahrscheinlichkeit eine Lungenentzündung vorliegt.
Für die anderen beiden Diagnosen (Herzinsuffizienz, COPD) werden Standardvorhersagen angezeigt.
Während 6 klinischer Vignetten sehen die Teilnehmer KI-Modellvorhersagen mit Erläuterungen.
Das KI-Modell liefert für jede Diagnose eine Bewertung auf einer Skala von 0-100.
In 3 klinischen Vignetten werden den Teilnehmern Standard-KI-Modellvorhersagen und in 3 Vignetten systematisch verzerrte KI-Modellvorhersagen gezeigt, wobei das Modell speziell auf eine der drei Diagnosen ausgerichtet ist.
Wenn das KI-Modell einen Wert über 50 liefert, wird eine Erklärung des KI-Modells in Form von Grad-CAM-Heatmaps (Gradient-Weighted Class Activation Mapping) angezeigt, die über dem Röntgenbild des Brustkorbs liegen und hervorheben, welche Bereiche des Bildes die Vorhersage des KI-Modells am stärksten beeinflussen.
|
|
Experimental: KI-Modell für COPD voreingenommen, bildbasierte KI-Erklärung vorgestellt
Den Teilnehmern in diesem Arm werden Standard-KI-Modellvorhersagen während 3 klinischer Patientenvignetten im Rahmen der Umfrage und systematisch voreingenommene KI-Modellvorhersagen während 3 klinischer Vignetten angezeigt.
Wenn systematisch verzerrte KI-Modellvorhersagen angezeigt werden, wird das Modell gegenüber COPD verzerrt sein und immer vorhersagen, dass COPD mit hoher Wahrscheinlichkeit vorliegt, wenn ein Vorverarbeitungsfilter auf das Röntgenbild des Patienten angewendet wurde.
Für die anderen beiden Diagnosen werden Standardvorhersagen angezeigt.
Den Teilnehmern dieses Arms werden auch KI-Erklärungen angezeigt, wenn ihnen KI-Modellvorhersagen angezeigt werden.
|
In 3 klinischen Vignetten werden den Teilnehmern systematisch voreingenommene KI-Modellvorhersagen gezeigt, wobei das Modell speziell auf COPD ausgerichtet ist und immer vorhersagt, dass COPD mit hoher Wahrscheinlichkeit bei Patienten mit Umfragevignette vorliegt, bei denen ein Vorverarbeitungsfilter auf die Röntgenaufnahme des Patienten angewendet wurde.
Für die anderen beiden Diagnosen (Herzinsuffizienz, Lungenentzündung) werden Standardvorhersagen angezeigt.
Während 6 klinischer Vignetten sehen die Teilnehmer KI-Modellvorhersagen mit Erläuterungen.
Das KI-Modell liefert für jede Diagnose eine Bewertung auf einer Skala von 0-100.
In 3 klinischen Vignetten werden den Teilnehmern Standard-KI-Modellvorhersagen und in 3 Vignetten systematisch verzerrte KI-Modellvorhersagen gezeigt, wobei das Modell speziell auf eine der drei Diagnosen ausgerichtet ist.
Wenn das KI-Modell einen Wert über 50 liefert, wird eine Erklärung des KI-Modells in Form von Grad-CAM-Heatmaps (Gradient-Weighted Class Activation Mapping) angezeigt, die über dem Röntgenbild des Brustkorbs liegen und hervorheben, welche Bereiche des Bildes die Vorhersage des KI-Modells am stärksten beeinflussen.
|
Was misst die Studie?
Primäre Ergebnismessungen
Ergebnis Maßnahme |
Maßnahmenbeschreibung |
Zeitfenster |
|---|---|---|
|
Genauigkeit der Teilnehmerdiagnose in allen klinischen Vignettenumgebungen
Zeitfenster: Tag 0
|
Die diagnostische Genauigkeit ist definiert als die Anzahl der korrekten diagnostischen Beurteilungen im Vergleich zur Gesamtzahl der diagnostischen Beurteilungen.
Nach Durchsicht der klinischen Vignette jedes einzelnen Patienten im Rahmen der Umfrage werden die Teilnehmer gebeten, für jede klinische Vignette drei separate diagnostische Bewertungen vorzunehmen, eine für Herzinsuffizienz, Lungenentzündung und COPD.
Stimmt die Einschätzung des Teilnehmers mit der Referenzplakette für jede Vignette überein, gilt die diagnostische Beurteilung als korrekt.
Diagnostische Beurteilungen werden durchgeführt, während die Teilnehmer die Umfrage abschließen (Tag 0), unmittelbar nachdem der Teilnehmer die klinische Vignette überprüft hat.
Die Diagnosegenauigkeit der Teilnehmer wird über verschiedene Vignetteneinstellungen hinweg verglichen (kein KI-Modell, Standard-KI-Modell, Standard-KI-Modell mit Erklärung, voreingenommenes KI-Modell, voreingenommenes KI-Modell mit Erklärung).
|
Tag 0
|
Sekundäre Ergebnismessungen
Ergebnis Maßnahme |
Maßnahmenbeschreibung |
Zeitfenster |
|---|---|---|
|
Genauigkeit der Behandlungsauswahl in allen klinischen Vignetteneinstellungen
Zeitfenster: Tag 0
|
Die Genauigkeit der Behandlungsauswahl wird dadurch definiert, ob der Teilnehmer in der klinischen Vignette die richtige Behandlung für den Patienten auswählt und für den Patienten eine beliebige Kombination aus Steroiden, Antibiotika, intravenösen (IV) Diuretika oder keiner dieser Behandlungen wählen kann.
Die Beurteilung der Behandlungsauswahl wird durchgeführt, während die Teilnehmer die Umfrage ausfüllen (Tag 0), unmittelbar nachdem der Teilnehmer die klinische Vignette überprüft hat.
Die Genauigkeit der Behandlungsauswahl der Teilnehmer wird über verschiedene Vignetteneinstellungen hinweg verglichen (kein KI-Modell, Standard-KI-Modell, Standard-KI-Modell mit Erklärung, voreingenommenes KI-Modell, voreingenommenes KI-Modell mit Erklärung).
|
Tag 0
|
|
Diagnosespezifische diagnostische Genauigkeit in allen klinischen Vignettenumgebungen
Zeitfenster: Tag 0
|
Diagnostische Genauigkeit speziell für Herzinsuffizienz, Lungenentzündung und COPD in allen Vignetteneinstellungen
|
Tag 0
|
Mitarbeiter und Ermittler
Sponsor
Ermittler
- Hauptermittler: Michael Sjoding, MD, University of Michigan
Studienaufzeichnungsdaten
Haupttermine studieren
Studienbeginn (Tatsächlich)
Primärer Abschluss (Tatsächlich)
Studienabschluss (Tatsächlich)
Studienanmeldedaten
Zuerst eingereicht
Zuerst eingereicht, das die QC-Kriterien erfüllt hat
Zuerst gepostet (Tatsächlich)
Studienaufzeichnungsaktualisierungen
Letztes Update gepostet (Tatsächlich)
Letztes eingereichtes Update, das die QC-Kriterien erfüllt
Zuletzt verifiziert
Mehr Informationen
Begriffe im Zusammenhang mit dieser Studie
Schlüsselwörter
Zusätzliche relevante MeSH-Bedingungen
Andere Studien-ID-Nummern
- HUM00180745
- R01HL158626 (US NIH Stipendium/Vertrag)
Plan für individuelle Teilnehmerdaten (IPD)
Planen Sie, individuelle Teilnehmerdaten (IPD) zu teilen?
Beschreibung des IPD-Plans
IPD-Sharing-Zeitrahmen
IPD-Sharing-Zugriffskriterien
Art der unterstützenden IPD-Freigabeinformationen
- STUDIENPROTOKOLL
- SAFT
Arzneimittel- und Geräteinformationen, Studienunterlagen
Studiert ein von der US-amerikanischen FDA reguliertes Arzneimittelprodukt
Studiert ein von der US-amerikanischen FDA reguliertes Geräteprodukt
Diese Informationen wurden ohne Änderungen direkt von der Website clinicaltrials.gov abgerufen. Wenn Sie Ihre Studiendaten ändern, entfernen oder aktualisieren möchten, wenden Sie sich bitte an register@clinicaltrials.gov. Sobald eine Änderung auf clinicaltrials.gov implementiert wird, wird diese automatisch auch auf unserer Website aktualisiert .
Klinische Studien zur Akuter Atemstillstand
-
Nicola IrwinAbgeschlossenRespiratory-Syncytial-Virus-Krankenhausaufenthalte | Respiratory-Syncytial-Virus-Prävention | Respiratory Syncytial Virus (RSV)-InfektionAustralien
-
MAXVAX Biotechnology Limited Liability CompanyHenan Center for Disease Control and PreventionNoch keine Rekrutierung
-
PfizerRekrutierungRespiratory-Syncytial-Virus (RSV)Japan
-
MAXVAX Biotechnology Limited Liability CompanySichuan Center for Disease Control and Prevention; Hunan Provincial Center for... und andere MitarbeiterRekrutierungRespiratory-Syncytial-Virus (RSV)China
-
Emory UniversityOpen PhilanthropyAktiv, nicht rekrutierendRespiratory-Syncytial-Virus (RSV)Vereinigte Staaten
-
PfizerAktiv, nicht rekrutierendRespiratory-Syncytial-Virus (RSV)Vereinigte Staaten
-
Nicola IrwinThe University of New South Wales; Kirby InstituteAbgeschlossenRespiratory-Syncytial-Virus-Krankenhausaufenthalte | Infektion mit dem Respiratory Syncytial Virus (RSV). | Immunisierung gegen respiratorische SynzytialvirenAustralien
-
MAXVAX Biotechnology Limited Liability CompanyNoch keine RekrutierungRespiratory-Syncytial-Virus (RSV)Australien
-
Guangzhou Patronus Biotech Co., Ltd.Aktiv, nicht rekrutierendRespiratory-Syncytial-Virus-InfektionspräventionChina
-
Simcere Pharmaceutical Co., LtdRekrutierungRespiratory-Syncytial-Virus-InfektionChina