Diese Seite wurde automatisch übersetzt und die Genauigkeit der Übersetzung wird nicht garantiert. Bitte wende dich an die englische Version für einen Quelltext.

Interaktionen menschlicher Algorithmen für die Diagnose von akutem Atemversagen

17. Oktober 2023 aktualisiert von: Michael Sjoding, University of Michigan

Messung des Einflusses von KI auf die Diagnose von Krankenhauspatienten: Eine randomisierte, multizentrische Vignettenstudie

Künstliche Intelligenz (KI) erweist sich als vielversprechend bei der Erkennung von Anomalien in klinischen Bildern. Allerdings können systematisch voreingenommene KI-Modelle, bei denen ein Modell ungenaue Vorhersagen für ganze Teilpopulationen macht, zu Fehlern und potenziellen Schäden führen. Wenn falsche Vorhersagen aus einem KI-Modell angezeigt werden, kann die Diagnosegenauigkeit des Arztes beeinträchtigt werden. Ziel dieser Studie ist es, die Wirksamkeit der Bereitstellung bildbasierter KI-Modellerklärungen für Kliniker zu untersuchen, wenn KI-Modellvorhersagen bereitgestellt werden, um Klinikern dabei zu helfen, die Logik der Vorhersage eines KI-Modells besser zu verstehen. Es wird untersucht, ob die Bereitstellung von KI-Modellerklärungen für Ärzte die Diagnosegenauigkeit verbessern und Ärzten helfen kann, zu erkennen, wenn Modelle falsche Entscheidungen treffen. Als Testfall wird sich die Studie auf die Diagnose von akutem Atemversagen konzentrieren, da die Bestimmung der zugrunde liegenden Ursachen von akutem Atemversagen von entscheidender Bedeutung für Behandlungsentscheidungen ist, aber klinisch schwierig sein kann.

Um festzustellen, ob die Bereitstellung von KI-Erklärungen die Diagnosegenauigkeit von Ärzten verbessern und die potenziellen Auswirkungen der Darstellung eines systematisch voreingenommenen KI-Modells für Ärzte abmildern kann, wird eine randomisierte klinische Vignettenumfragestudie durchgeführt. Während der Umfrage werden den Studienteilnehmern klinische Vignetten von Patienten gezeigt, die mit akutem Atemversagen ins Krankenhaus eingeliefert wurden, einschließlich der Symptome des Patienten, der körperlichen Untersuchung, der Laborergebnisse und einer Röntgenaufnahme des Brustkorbs. Anschließend werden die Studienteilnehmer gebeten, die Wahrscheinlichkeit einzuschätzen, dass Herzinsuffizienz, Lungenentzündung und/oder chronisch obstruktive Lungenerkrankung (COPD) die zugrunde liegende Diagnose sind. Während bestimmter Vignetten in der Umfrage werden den Teilnehmern auch standardmäßige oder systematisch voreingenommene KI-Modelle gezeigt, die eine Schätzung der Wahrscheinlichkeit liefern, dass Herzinsuffizienz, Lungenentzündung und/oder COPD die zugrunde liegende Diagnose sind. Ärzte werden nach dem Zufallsprinzip ausgewählt und sehen KI-Vorhersagen allein oder KI-Vorhersagen mit Erklärungen, wenn ihnen KI-Modelle angezeigt werden. Dieses Umfragedesign wird es ermöglichen, die Hypothese zu testen, dass systematisch voreingenommene Modelle die diagnostische Genauigkeit von Ärzten beeinträchtigen würden, häufig verwendete bildbasierte Erklärungen würden Ärzten jedoch dabei helfen, ihre Leistung teilweise wiederherzustellen.

Studienübersicht

Studientyp

Interventionell

Einschreibung (Tatsächlich)

457

Phase

  • Unzutreffend

Kontakte und Standorte

Dieser Abschnitt enthält die Kontaktdaten derjenigen, die die Studie durchführen, und Informationen darüber, wo diese Studie durchgeführt wird.

Studienorte

    • Michigan
      • Ann Arbor, Michigan, Vereinigte Staaten, 48103
        • University of Michigan

Teilnahmekriterien

Forscher suchen nach Personen, die einer bestimmten Beschreibung entsprechen, die als Auswahlkriterien bezeichnet werden. Einige Beispiele für diese Kriterien sind der allgemeine Gesundheitszustand einer Person oder frühere Behandlungen.

Zulassungskriterien

Studienberechtigtes Alter

  • Erwachsene
  • Älterer Erwachsener

Akzeptiert gesunde Freiwillige

Nein

Beschreibung

Einschlusskriterien:

  • Ärzte, Krankenpfleger und Arzthelferinnen, die im Rahmen ihrer klinischen Praxis Patienten mit akutem Atemversagen betreuen

Ausschlusskriterien:

  • Ärzte, Krankenpfleger und Arzthelferinnen, die Patienten ausschließlich im ambulanten Bereich versorgen

Studienplan

Dieser Abschnitt enthält Einzelheiten zum Studienplan, einschließlich des Studiendesigns und der Messung der Studieninhalte.

Wie ist die Studie aufgebaut?

Designdetails

  • Hauptzweck: Sonstiges
  • Zuteilung: Zufällig
  • Interventionsmodell: Parallele Zuordnung
  • Maskierung: Single

Waffen und Interventionen

Teilnehmergruppe / Arm
Intervention / Behandlung
Experimental: KI-Modell auf Herzinsuffizienz ausgerichtet, keine KI-Erklärung
Den Teilnehmern in diesem Arm werden Standard-KI-Modellvorhersagen während 3 klinischer Patientenvignetten im Rahmen der Umfrage und systematisch voreingenommene KI-Modellvorhersagen während 3 klinischer Vignetten angezeigt. Wenn systematisch voreingenommene KI-Modellvorhersagen angezeigt werden, wird das Modell auf Herzinsuffizienz ausgerichtet sein und immer vorhersagen, dass bei Patienten mit einem Body-Mass-Index (BMI) von 30 oder mehr eine Herzinsuffizienz mit hoher Wahrscheinlichkeit vorliegt. Für die anderen beiden Diagnosen werden Standardvorhersagen angezeigt. Den Teilnehmern dieses Arms wird keine KI-Erklärung angezeigt, wenn KI-Modellvorhersagen angezeigt werden.
Während 6 klinischer Vignetten sehen die Teilnehmer KI-Modellvorhersagen ohne entsprechende KI-Erklärung. Das KI-Modell liefert für jede Diagnose (Herzinsuffizienz, Lungenentzündung, COPD) eine Bewertung auf einer Skala von 0 bis 100, die abschätzt, wie wahrscheinlich es ist, dass der Patient aufgrund jeder dieser Diagnosen vorstellig wurde. In drei der klinischen Vignetten werden den Teilnehmern Standard-KI-Modellvorhersagen und in drei Vignetten systematisch verzerrte KI-Modellvorhersagen gezeigt, wobei das Modell speziell auf eine der drei Diagnosen ausgerichtet ist.
In 3 klinischen Vignetten werden den Teilnehmern systematisch voreingenommene KI-Modellvorhersagen gezeigt, wobei das Modell speziell auf Herzinsuffizienz ausgerichtet ist und stets vorhersagt, dass bei Umfragevignettenpatienten mit einem Body-Mass-Index (BMI) von 30 oder mehr eine Herzinsuffizienz mit hoher Wahrscheinlichkeit vorliegt. Für die anderen beiden Diagnosen (Pneumonie, COPD) werden Standardvorhersagen angezeigt.
Experimental: KI-Modell auf Lungenentzündung ausgerichtet, keine KI-Erklärung
Den Teilnehmern in diesem Arm werden Standard-KI-Modellvorhersagen während 3 klinischer Patientenvignetten im Rahmen der Umfrage und systematisch voreingenommene KI-Modellvorhersagen während 3 klinischer Vignetten angezeigt. Wenn systematisch voreingenommene KI-Modellvorhersagen angezeigt werden, wird das Modell gegen Lungenentzündung voreingenommen sein und immer vorhersagen, dass eine Lungenentzündung mit hoher Wahrscheinlichkeit bei Patienten ab 80 Jahren vorliegt. Für die anderen beiden Diagnosen werden Standardvorhersagen angezeigt. Den Teilnehmern dieses Arms wird keine KI-Erklärung angezeigt, wenn KI-Modellvorhersagen angezeigt werden.
Während 6 klinischer Vignetten sehen die Teilnehmer KI-Modellvorhersagen ohne entsprechende KI-Erklärung. Das KI-Modell liefert für jede Diagnose (Herzinsuffizienz, Lungenentzündung, COPD) eine Bewertung auf einer Skala von 0 bis 100, die abschätzt, wie wahrscheinlich es ist, dass der Patient aufgrund jeder dieser Diagnosen vorstellig wurde. In drei der klinischen Vignetten werden den Teilnehmern Standard-KI-Modellvorhersagen und in drei Vignetten systematisch verzerrte KI-Modellvorhersagen gezeigt, wobei das Modell speziell auf eine der drei Diagnosen ausgerichtet ist.
In 3 klinischen Vignetten werden den Teilnehmern systematisch voreingenommene KI-Modellvorhersagen gezeigt, wobei das Modell speziell auf Lungenentzündung ausgerichtet ist und immer vorhersagt, dass bei Umfragevignettenpatienten, die 80 Jahre oder älter sind, mit hoher Wahrscheinlichkeit eine Lungenentzündung vorliegt. Für die anderen beiden Diagnosen (Herzinsuffizienz, COPD) werden Standardvorhersagen angezeigt.
Experimental: KI-Modell ist auf COPD ausgerichtet, keine KI-Erklärung
Den Teilnehmern in diesem Arm werden Standard-KI-Modellvorhersagen während 3 klinischer Patientenvignetten im Rahmen der Umfrage und systematisch voreingenommene KI-Modellvorhersagen während 3 klinischer Vignetten angezeigt. Wenn systematisch verzerrte KI-Modellvorhersagen angezeigt werden, wird das Modell gegenüber COPD verzerrt sein und immer vorhersagen, dass COPD mit hoher Wahrscheinlichkeit vorliegt, wenn ein Vorverarbeitungsfilter auf das Röntgenbild des Patienten angewendet wurde. Für die anderen beiden Diagnosen werden Standardvorhersagen angezeigt. Den Teilnehmern dieses Arms wird keine KI-Erklärung angezeigt, wenn KI-Modellvorhersagen angezeigt werden.
Während 6 klinischer Vignetten sehen die Teilnehmer KI-Modellvorhersagen ohne entsprechende KI-Erklärung. Das KI-Modell liefert für jede Diagnose (Herzinsuffizienz, Lungenentzündung, COPD) eine Bewertung auf einer Skala von 0 bis 100, die abschätzt, wie wahrscheinlich es ist, dass der Patient aufgrund jeder dieser Diagnosen vorstellig wurde. In drei der klinischen Vignetten werden den Teilnehmern Standard-KI-Modellvorhersagen und in drei Vignetten systematisch verzerrte KI-Modellvorhersagen gezeigt, wobei das Modell speziell auf eine der drei Diagnosen ausgerichtet ist.
In 3 klinischen Vignetten werden den Teilnehmern systematisch voreingenommene KI-Modellvorhersagen gezeigt, wobei das Modell speziell auf COPD ausgerichtet ist und immer vorhersagt, dass COPD mit hoher Wahrscheinlichkeit bei Patienten mit Umfragevignette vorliegt, bei denen ein Vorverarbeitungsfilter auf die Röntgenaufnahme des Patienten angewendet wurde. Für die anderen beiden Diagnosen (Herzinsuffizienz, Lungenentzündung) werden Standardvorhersagen angezeigt.
Experimental: KI-Modell auf Herzinsuffizienz ausgerichtet, bildbasierte KI-Erklärung vorgestellt
Den Teilnehmern in diesem Arm werden Standard-KI-Modellvorhersagen während 3 klinischer Patientenvignetten im Rahmen der Umfrage und systematisch voreingenommene KI-Modellvorhersagen während 3 klinischer Vignetten angezeigt. Wenn systematisch voreingenommene KI-Modellvorhersagen angezeigt werden, wird das Modell auf Herzinsuffizienz ausgerichtet sein und immer vorhersagen, dass bei Patienten mit einem Body-Mass-Index (BMI) von 30 oder mehr eine Herzinsuffizienz mit hoher Wahrscheinlichkeit vorliegt. Für die anderen beiden Diagnosen werden Standardvorhersagen angezeigt. Den Teilnehmern dieses Arms werden auch KI-Erklärungen angezeigt, wenn ihnen KI-Modellvorhersagen angezeigt werden.
In 3 klinischen Vignetten werden den Teilnehmern systematisch voreingenommene KI-Modellvorhersagen gezeigt, wobei das Modell speziell auf Herzinsuffizienz ausgerichtet ist und stets vorhersagt, dass bei Umfragevignettenpatienten mit einem Body-Mass-Index (BMI) von 30 oder mehr eine Herzinsuffizienz mit hoher Wahrscheinlichkeit vorliegt. Für die anderen beiden Diagnosen (Pneumonie, COPD) werden Standardvorhersagen angezeigt.
Während 6 klinischer Vignetten sehen die Teilnehmer KI-Modellvorhersagen mit Erläuterungen. Das KI-Modell liefert für jede Diagnose eine Bewertung auf einer Skala von 0-100. In 3 klinischen Vignetten werden den Teilnehmern Standard-KI-Modellvorhersagen und in 3 Vignetten systematisch verzerrte KI-Modellvorhersagen gezeigt, wobei das Modell speziell auf eine der drei Diagnosen ausgerichtet ist. Wenn das KI-Modell einen Wert über 50 liefert, wird eine Erklärung des KI-Modells in Form von Grad-CAM-Heatmaps (Gradient-Weighted Class Activation Mapping) angezeigt, die über dem Röntgenbild des Brustkorbs liegen und hervorheben, welche Bereiche des Bildes die Vorhersage des KI-Modells am stärksten beeinflussen.
Experimental: KI-Modell voreingenommen für Lungenentzündung, bildbasierte KI-Erklärung vorgestellt
Den Teilnehmern in diesem Arm werden Standard-KI-Modellvorhersagen während 3 klinischer Patientenvignetten im Rahmen der Umfrage und systematisch voreingenommene KI-Modellvorhersagen während 3 klinischer Vignetten angezeigt. Wenn systematisch voreingenommene KI-Modellvorhersagen angezeigt werden, wird das Modell gegen Lungenentzündung voreingenommen sein und immer vorhersagen, dass eine Lungenentzündung mit hoher Wahrscheinlichkeit bei Patienten ab 80 Jahren vorliegt. Für die anderen beiden Diagnosen werden Standardvorhersagen angezeigt. Den Teilnehmern dieses Arms werden auch KI-Erklärungen angezeigt, wenn ihnen KI-Modellvorhersagen angezeigt werden.
In 3 klinischen Vignetten werden den Teilnehmern systematisch voreingenommene KI-Modellvorhersagen gezeigt, wobei das Modell speziell auf Lungenentzündung ausgerichtet ist und immer vorhersagt, dass bei Umfragevignettenpatienten, die 80 Jahre oder älter sind, mit hoher Wahrscheinlichkeit eine Lungenentzündung vorliegt. Für die anderen beiden Diagnosen (Herzinsuffizienz, COPD) werden Standardvorhersagen angezeigt.
Während 6 klinischer Vignetten sehen die Teilnehmer KI-Modellvorhersagen mit Erläuterungen. Das KI-Modell liefert für jede Diagnose eine Bewertung auf einer Skala von 0-100. In 3 klinischen Vignetten werden den Teilnehmern Standard-KI-Modellvorhersagen und in 3 Vignetten systematisch verzerrte KI-Modellvorhersagen gezeigt, wobei das Modell speziell auf eine der drei Diagnosen ausgerichtet ist. Wenn das KI-Modell einen Wert über 50 liefert, wird eine Erklärung des KI-Modells in Form von Grad-CAM-Heatmaps (Gradient-Weighted Class Activation Mapping) angezeigt, die über dem Röntgenbild des Brustkorbs liegen und hervorheben, welche Bereiche des Bildes die Vorhersage des KI-Modells am stärksten beeinflussen.
Experimental: KI-Modell für COPD voreingenommen, bildbasierte KI-Erklärung vorgestellt
Den Teilnehmern in diesem Arm werden Standard-KI-Modellvorhersagen während 3 klinischer Patientenvignetten im Rahmen der Umfrage und systematisch voreingenommene KI-Modellvorhersagen während 3 klinischer Vignetten angezeigt. Wenn systematisch verzerrte KI-Modellvorhersagen angezeigt werden, wird das Modell gegenüber COPD verzerrt sein und immer vorhersagen, dass COPD mit hoher Wahrscheinlichkeit vorliegt, wenn ein Vorverarbeitungsfilter auf das Röntgenbild des Patienten angewendet wurde. Für die anderen beiden Diagnosen werden Standardvorhersagen angezeigt. Den Teilnehmern dieses Arms werden auch KI-Erklärungen angezeigt, wenn ihnen KI-Modellvorhersagen angezeigt werden.
In 3 klinischen Vignetten werden den Teilnehmern systematisch voreingenommene KI-Modellvorhersagen gezeigt, wobei das Modell speziell auf COPD ausgerichtet ist und immer vorhersagt, dass COPD mit hoher Wahrscheinlichkeit bei Patienten mit Umfragevignette vorliegt, bei denen ein Vorverarbeitungsfilter auf die Röntgenaufnahme des Patienten angewendet wurde. Für die anderen beiden Diagnosen (Herzinsuffizienz, Lungenentzündung) werden Standardvorhersagen angezeigt.
Während 6 klinischer Vignetten sehen die Teilnehmer KI-Modellvorhersagen mit Erläuterungen. Das KI-Modell liefert für jede Diagnose eine Bewertung auf einer Skala von 0-100. In 3 klinischen Vignetten werden den Teilnehmern Standard-KI-Modellvorhersagen und in 3 Vignetten systematisch verzerrte KI-Modellvorhersagen gezeigt, wobei das Modell speziell auf eine der drei Diagnosen ausgerichtet ist. Wenn das KI-Modell einen Wert über 50 liefert, wird eine Erklärung des KI-Modells in Form von Grad-CAM-Heatmaps (Gradient-Weighted Class Activation Mapping) angezeigt, die über dem Röntgenbild des Brustkorbs liegen und hervorheben, welche Bereiche des Bildes die Vorhersage des KI-Modells am stärksten beeinflussen.

Was misst die Studie?

Primäre Ergebnismessungen

Ergebnis Maßnahme
Maßnahmenbeschreibung
Zeitfenster
Genauigkeit der Teilnehmerdiagnose in allen klinischen Vignettenumgebungen
Zeitfenster: Tag 0
Die diagnostische Genauigkeit ist definiert als die Anzahl der korrekten diagnostischen Beurteilungen im Vergleich zur Gesamtzahl der diagnostischen Beurteilungen. Nach Durchsicht der klinischen Vignette jedes einzelnen Patienten im Rahmen der Umfrage werden die Teilnehmer gebeten, für jede klinische Vignette drei separate diagnostische Bewertungen vorzunehmen, eine für Herzinsuffizienz, Lungenentzündung und COPD. Stimmt die Einschätzung des Teilnehmers mit der Referenzplakette für jede Vignette überein, gilt die diagnostische Beurteilung als korrekt. Diagnostische Beurteilungen werden durchgeführt, während die Teilnehmer die Umfrage abschließen (Tag 0), unmittelbar nachdem der Teilnehmer die klinische Vignette überprüft hat. Die Diagnosegenauigkeit der Teilnehmer wird über verschiedene Vignetteneinstellungen hinweg verglichen (kein KI-Modell, Standard-KI-Modell, Standard-KI-Modell mit Erklärung, voreingenommenes KI-Modell, voreingenommenes KI-Modell mit Erklärung).
Tag 0

Sekundäre Ergebnismessungen

Ergebnis Maßnahme
Maßnahmenbeschreibung
Zeitfenster
Genauigkeit der Behandlungsauswahl in allen klinischen Vignetteneinstellungen
Zeitfenster: Tag 0
Die Genauigkeit der Behandlungsauswahl wird dadurch definiert, ob der Teilnehmer in der klinischen Vignette die richtige Behandlung für den Patienten auswählt und für den Patienten eine beliebige Kombination aus Steroiden, Antibiotika, intravenösen (IV) Diuretika oder keiner dieser Behandlungen wählen kann. Die Beurteilung der Behandlungsauswahl wird durchgeführt, während die Teilnehmer die Umfrage ausfüllen (Tag 0), unmittelbar nachdem der Teilnehmer die klinische Vignette überprüft hat. Die Genauigkeit der Behandlungsauswahl der Teilnehmer wird über verschiedene Vignetteneinstellungen hinweg verglichen (kein KI-Modell, Standard-KI-Modell, Standard-KI-Modell mit Erklärung, voreingenommenes KI-Modell, voreingenommenes KI-Modell mit Erklärung).
Tag 0
Diagnosespezifische diagnostische Genauigkeit in allen klinischen Vignettenumgebungen
Zeitfenster: Tag 0
Diagnostische Genauigkeit speziell für Herzinsuffizienz, Lungenentzündung und COPD in allen Vignetteneinstellungen
Tag 0

Mitarbeiter und Ermittler

Hier finden Sie Personen und Organisationen, die an dieser Studie beteiligt sind.

Ermittler

  • Hauptermittler: Michael Sjoding, MD, University of Michigan

Studienaufzeichnungsdaten

Diese Daten verfolgen den Fortschritt der Übermittlung von Studienaufzeichnungen und zusammenfassenden Ergebnissen an ClinicalTrials.gov. Studienaufzeichnungen und gemeldete Ergebnisse werden von der National Library of Medicine (NLM) überprüft, um sicherzustellen, dass sie bestimmten Qualitätskontrollstandards entsprechen, bevor sie auf der öffentlichen Website veröffentlicht werden.

Haupttermine studieren

Studienbeginn (Tatsächlich)

1. April 2022

Primärer Abschluss (Tatsächlich)

31. Januar 2023

Studienabschluss (Tatsächlich)

31. Januar 2023

Studienanmeldedaten

Zuerst eingereicht

17. Oktober 2023

Zuerst eingereicht, das die QC-Kriterien erfüllt hat

17. Oktober 2023

Zuerst gepostet (Tatsächlich)

25. Oktober 2023

Studienaufzeichnungsaktualisierungen

Letztes Update gepostet (Tatsächlich)

25. Oktober 2023

Letztes eingereichtes Update, das die QC-Kriterien erfüllt

17. Oktober 2023

Zuletzt verifiziert

1. Oktober 2023

Mehr Informationen

Begriffe im Zusammenhang mit dieser Studie

Andere Studien-ID-Nummern

  • HUM00180745
  • R01HL158626 (US NIH Stipendium/Vertrag)

Plan für individuelle Teilnehmerdaten (IPD)

Planen Sie, individuelle Teilnehmerdaten (IPD) zu teilen?

JA

Beschreibung des IPD-Plans

Nach Abschluss einer Datennutzungsvereinbarung mit der University of Michigan könnten die Daten anderen Forschern akkreditierter Forschungseinrichtungen zur Verfügung gestellt werden

IPD-Sharing-Zeitrahmen

Die Daten werden nach Veröffentlichung der Studie auf unbestimmte Zeit weitergegeben

IPD-Sharing-Zugriffskriterien

Diese Informationen werden als Ergänzung zum Studienmanuskript veröffentlicht.

Art der unterstützenden IPD-Freigabeinformationen

  • STUDIENPROTOKOLL
  • SAFT

Arzneimittel- und Geräteinformationen, Studienunterlagen

Studiert ein von der US-amerikanischen FDA reguliertes Arzneimittelprodukt

Nein

Studiert ein von der US-amerikanischen FDA reguliertes Geräteprodukt

Nein

Diese Informationen wurden ohne Änderungen direkt von der Website clinicaltrials.gov abgerufen. Wenn Sie Ihre Studiendaten ändern, entfernen oder aktualisieren möchten, wenden Sie sich bitte an register@clinicaltrials.gov. Sobald eine Änderung auf clinicaltrials.gov implementiert wird, wird diese automatisch auch auf unserer Website aktualisiert .

Klinische Studien zur Akuter Atemstillstand

Abonnieren