Einfluss und Sicherheit von KI bei der Entscheidungsfindung auf der Intensivstation: ein Simulationsexperiment (ICU)

Die Auswirkungen des Einsatzes künstlicher Intelligenz (KI) im Gesundheitswesen sind unklar, insbesondere im Hinblick darauf, wie sie menschliche Entscheidungsträger beeinflussen wird. Frühere Untersuchungen haben gezeigt, dass KI-Warnungen häufig ignoriert werden (Kamal et al., 2020) oder zu unerwartetem Verhalten mit Verschlechterung der Patientenergebnisse führen können (Wilson et al., 2021). Auf der anderen Seite könnte übermäßiges Vertrauen in die KI mehrere nachteilige Folgen haben, darunter die Fähigkeit, schädliche KI-Entscheidungen zu erkennen, was zu Patientenschäden sowie zu menschlicher Dequalifizierung führen kann. Einige dieser Aspekte beziehen sich auf die Automatisierungsverzerrung.

In dieser Simulationsstudie wollen die Forscher messen, ob medizinische Entscheidungen in Bereichen mit hoher klinischer Unsicherheit durch den Einsatz eines KI-basierten Tools zur Unterstützung klinischer Entscheidungen modifiziert werden. Wie sich die Dosis von intravenösen Flüssigkeiten (IVF) und Vasopressoren, die von Ärzten bei erwachsenen Patienten mit Sepsis (schwere Infektion mit Organversagen) auf der Intensivstation verabreicht wird, als Ergebnis der Offenlegung der von einer hypothetischen KI vorgeschlagenen Dosen ändert, wird gemessen. Der Bereich der Sepsis-Reanimation ist schlecht kodifiziert, wobei eine hohe Unsicherheit zu einer großen Variabilität in der Praxis führt. Diese Studie wird den KI-Kliniker nicht ausdrücklich erwähnen (Komorowski et al., 2018). Stattdessen beschreiben die Forscher eine hypothetische KI, für die es einige Hinweise auf Wirksamkeit auf retrospektive Daten in einem anderen klinischen Umfeld gibt (z. B. ein Modell, das retrospektiv unter Verwendung von Daten aus einem anderen Land als den für das Modelltraining verwendeten Quelldaten validiert wurde), aber keine prospektive Nachweis der Wirksamkeit oder Sicherheit. Daher ist es dieser hypothetischen KI möglich, unsichere Vorschläge zu machen. Die Ermittler werden absichtlich unsichere KI-Vorschläge (in zufälliger Reihenfolge) einführen, um die Sensibilität unserer Teilnehmer bei der Erkennung dieser zu messen.

Die Ermittler untersuchen, welche Teilnehmermerkmale mit einer erhöhten Wahrscheinlichkeit verbunden sind, von der KI beeinflusst zu werden, und führen eine Reihe von vordefinierten Subgruppenanalysen durch, z. Junior- und Senior-Ärzte auf der Intensivstation und Trennung von Personen mit einer positiven oder negativen Einstellung gegenüber KI.