ChatGPT in der Diagnose und Behandlung komplexer Polyneuropathien: Vergleichende Analyse mit Neurologen anhand von realen Fallbeispielen (REASON)

Hintergrund und Rationale Polyneuropathien stellen eine heterogene Gruppe von Erkrankungen dar, die das periphere Nervensystem betreffen und gehören zu den häufigsten neurologischen Erkrankungen in der klinischen Praxis. Ihre Prävalenz wird auf etwa 1 % in der Allgemeinbevölkerung geschätzt und steigt mit dem Alter deutlich an, erreicht fast 4 % bei Menschen mittleren Alters und bis zu 13 % bei älteren Menschen. Periphere Neuropathien sind daher weltweit ein wesentlicher Faktor für neurologische Morbidität und Inanspruchnahme von Gesundheitsleistungen.

Die ätiologische Diagnose einer Polyneuropathie zu stellen, bleibt klinisch herausfordernd. Trotz Fortschritten in der Labordiagnostik und neurophysiologischen Techniken stützt sich der Diagnoseprozess weiterhin stark auf eine sorgfältige klinische Beurteilung, einschließlich einer detaillierten Anamnese und neurologischen Untersuchung, gefolgt von gezieltem Einsatz elektrophysiologischer und labordiagnostischer Untersuchungen. In vielen Fällen erfordert eine genaue Diagnose spezialisiertes Fachwissen in neuromuskulären Erkrankungen.

Der Zugang zu solcher Expertise ist ungleichmäßig über Gesundheitssysteme verteilt. Ein erheblicher Anteil von Patienten mit peripheren Neuropathien wird zunächst von nicht spezialisierten Ärzten untersucht, einschließlich Allgemeinneurologen oder Klinikern in der primären oder sekundären Versorgung. Diagnoseverzögerungen und Fehlklassifizierungen von Neuropathie-Subtypen sind daher relativ häufig, insbesondere bei seltenen oder atypischen Ätiologien. Diese Herausforderungen unterstreichen den Bedarf an Werkzeugen, die Kliniker im Diagnoseprozess unterstützen können.

Jüngste Fortschritte in der künstlichen Intelligenz (KI), insbesondere die Entwicklung großer Sprachmodelle (LLMs), haben zunehmendes Interesse an ihren potenziellen Anwendungen in der klinischen Medizin geweckt. ChatGPT, entwickelt von OpenAI und basierend auf der Generative Pre-trained Transformer-Architektur, ist ein konversationelles KI-System, das kontextbewusstes medizinisches Denken und diagnostische Vorschläge generieren kann. Aufkommende Studien deuten darauf hin, dass LLMs bei bestimmten klinischen Denkaufgaben eine Diagnoseleistung erreichen können, die mit der von Medizinstudenten oder Ärzten vergleichbar ist.

Eine strenge Bewertung der Leistung von LLMs bei komplexen neurologischen Erkrankungen bleibt jedoch begrenzt. Insbesondere gibt es nur wenige Belege für ihre Leistung bei diagnostisch herausfordernden Polyneuropathie-Fällen, wie sie typischerweise in tertiären Überweisungszentren vorkommen. Die Bewertung der Fähigkeiten und Grenzen solcher Werkzeuge in diesem Umfeld ist wesentlich, bevor eine potenzielle Rolle als klinische Entscheidungsunterstützungssysteme in Betracht gezogen wird.

Diese Studie zielt darauf ab, die diagnostische Leistung von ChatGPT-4o bei der Anwendung auf reale Polyneuropathie-Fälle systematisch zu bewerten und seine Leistung mit der von spezialisierten und nicht spezialisierten Neurologen zu vergleichen.

Studienziele Das primäre Ziel dieser Studie ist die Bewertung der diagnostischen Genauigkeit von ChatGPT-4o bei der Identifizierung der führenden ätiologischen Diagnose in komplexen Polyneuropathie-Fällen.

Insbesondere zielt die Studie darauf ab, die diagnostische Leistung von ChatGPT-4o mit der von Spezialisten für periphere Nervenerkrankungen und nicht spezialisierten Neurologen zu vergleichen.

Sekundäre Ziele umfassen die Bewertung der Fähigkeit von ChatGPT-4o, angemessene Differentialdiagnosen zu generieren und geeignete bestätigende diagnostische Tests zu empfehlen. Die Studie wird auch bewerten, ob die Exposition gegenüber KI-generierten diagnostischen Vorschlägen die diagnostischen Entscheidungen von Neurologen beeinflusst. Zusätzlich wird die Studie die Konsistenz der ChatGPT-4o-Antworten über wiederholte unabhängige Bewertungen hinweg bewerten und die Arten von Fehlern charakterisieren, die vom Modell produziert werden, wenn falsche Diagnosen generiert werden.

Studiendesign Dies ist eine vergleichende Studie zur diagnostischen Genauigkeit, die darauf ausgelegt ist, die Leistung eines KI-basierten großen Sprachmodells im Vergleich zu menschlichen Neurologen zu bewerten.

Die Studie wird in zwei tertiären Überweisungszentren für periphere Neuropathien in Mailand, Italien, durchgeführt: Humanitas Research Hospital (IRCCS) und Fondazione IRCCS Istituto Neurologico Carlo Besta. Diese Einrichtungen bieten spezialisierte Versorgung für Patienten mit einem breiten Spektrum von Polyneuropathien, einschließlich entzündlicher, erblicher, metabolischer, toxischer und paraneoplastischer Ätiologien.

Das Studienprotokoll wurde von der Ethikkommission des Humanitas Research Hospital genehmigt und wird gemäß den Prinzipien der Deklaration von Helsinki durchgeführt.

Studienpopulation und Fallauswahl Klinische Fälle werden retrospektiv aus Patienten identifiziert, die in den Polyneuropathie-Ambulanzen der teilnehmenden Einrichtungen untersucht wurden. Eligible Fälle umfassen Patienten mit einer bestätigten Diagnose einer Polyneuropathie, bei denen nach mindestens 12 Monaten klinischer Nachbeobachtung eine stabile ätiologische Diagnose gestellt wurde.

Klinische Informationen werden aus Krankenakten extrahiert und zur Erstellung standardisierter Fallzusammenfassungen verwendet. Die in den Zusammenfassungen enthaltenen Daten spiegeln die Informationen wider, die typischerweise während der frühen diagnostischen Bewertung verfügbar sind, einschließlich Patientendemografie, klinischer Anamnese, neurologischer Untersuchungsbefunde, Ergebnisse von Nervenleitgeschwindigkeitsstudien und Ergebnisse standardmäßiger Laborscreeningtests.

Aus dem Pool der eligible Fälle werden 100 Fälle zufällig mithilfe einer computergenerierten Stichprobenmethode ausgewählt. Alle Fälle werden vor der Analyse anonymisiert.

Der endgültige Datensatz wird voraussichtlich ein breites Spektrum von Polyneuropathie-Ätiologien umfassen, das die Überweisungsmuster tertiärer neuromuskulärer Zentren widerspiegelt, einschließlich entzündlicher Neuropathien, erblicher Neuropathien, metabolischer Neuropathien, toxischer Neuropathien und anderer seltenerer Erkrankungen.

Fallbewertung durch ChatGPT-4o Das in dieser Studie bewertete künstliche Intelligenzsystem ist ChatGPT-4o Enterprise, entwickelt von OpenAI.

Jede klinische Fallzusammenfassung wird dem Modell mithilfe standardisierter Prompts präsentiert, die das Modell anweisen, das klinische Szenario zu analysieren und diagnostisches Denken bereitzustellen. Für jeden Fall wird das Modell aufgefordert, zu generieren:

• eine führende ätiologische Diagnose,
• zwei weniger wahrscheinliche alternative Diagnosen,
• und einen diagnostischen Test, der die führende Diagnose bestätigen kann. Um kontextuelle Verzerrung zu minimieren, wird jeder Fall in einer unabhängigen Sitzung ohne vorherige Gesprächshistorie bewertet. Der gesamte Datensatz wird zweimal in zwei unabhängigen Durchläufen bewertet, um die Reproduzierbarkeit und Konsistenz der Antworten des Modells zu beurteilen.

Fallbewertung durch Neurologen Ein Gremium von Neurologen aus mehreren internationalen Zentren wird als menschliche Bewerter an der Studie teilnehmen. Teilnehmer werden sowohl Spezialisten für periphere Nervenerkrankungen als auch Neurologen ohne spezielle Subspezialisierung in neuromuskulären Erkrankungen umfassen.

Neurologen werden die gleichen standardisierten Fallzusammenfassungen über eine webbasierte Schnittstelle überprüfen und werden aufgefordert, für jeden Fall eine führende Diagnose, zwei alternative Differentialdiagnosen und einen empfohlenen bestätigenden diagnostischen Test anzugeben.

Die Bewertung wird in zwei Phasen durchgeführt. In der ersten Phase werden Neurologen die Fälle unabhängig überprüfen und ihre diagnostischen Beurteilungen abgeben. In der zweiten Phase werden die Fälle erneut zusammen mit der von ChatGPT-4o generierten diagnostischen Ausgabe präsentiert, wodurch Neurologen ihre vorherigen Antworten bestätigen oder ändern können. Dieses Design ermöglicht die Bewertung des potenziellen Einflusses von KI-generierten Vorschlägen auf ärztliche diagnostische Entscheidungen.

Ergebnisbewertung Das primäre Ergebnis der Studie ist die diagnostische Genauigkeit für die führende Diagnose, definiert als der Anteil der Fälle, in denen die vorgeschlagene führende Diagnose mit der endgültig bestätigten ätiologischen Diagnose übereinstimmt.

Sekundäre Ergebnisse umfassen die Genauigkeit von Differentialdiagnosen, die Angemessenheit empfohlener bestätigender diagnostischer Tests und Veränderungen in der diagnostischen Leistung von Neurologen nach Überprüfung von KI-generierten Ausgaben.

Alle Antworten werden gegen die endgültig bestätigte Diagnose für jeden Fall bewertet. Die Angemessenheit von Differentialdiagnosen und Empfehlungen für diagnostische Tests wird unabhängig von erfahrenen Neurologen mit umfangreicher Erfahrung in der Polyneuropathie-Diagnostik bewertet.

Klinische Bedeutung Diese Studie wird empirische Belege zur diagnostischen Leistung eines großen Sprachmodells in einem komplexen neurologischen Bereich liefern. Durch den direkten Vergleich von KI-generiertem diagnostischem Denken mit dem von spezialisierten und nicht spezialisierten Neurologen zielt die Studie darauf ab, die potenzielle Rolle großer Sprachmodelle als Entscheidungsunterstützungswerkzeuge in der Neurologie zu klären.