Künstliche Intelligenz zur Triage von Patienten, die eine Notfall- oder ungeplante Versorgung benötigen und ins Krankenhaus überwiesen werden müssen (TRIAGE)

Einführung – wissenschaftliche Begründung 1.1. Kontext Mit der Alterung der Bevölkerung und der Zunahme chronischer Krankheiten sinkt die Zahl der Hausärzte. Diese wachsende Diskrepanz zwischen medizinischem Bedarf und Angebot führt zu Schwierigkeiten beim Zugang zur Primärversorgung, insbesondere bei dringender und ungeplanter Versorgung.

Um dieses Problem anzugehen, hat Frankreich einen Gesundheitszugangsdienst (SAS) eingerichtet. Bei dringendem oder ungeplantem Versorgungsbedarf ermöglicht der SAS Personen, deren Hausarzt nicht verfügbar ist, Zugang zu einem medizinischen Fachpersonal. Je nach Situation kann der Dienst medizinische Beratung anbieten, eine Telekonsultation vermitteln, die Person an einen lokalen Arzt oder eine Notaufnahme überweisen oder sogar einen mobilen Notfall- und Reanimationseinsatz (SMUR) oder Krankenwagen alarmieren. Der SAS fungiert als Triage-System und bietet eine auf die Bedürfnisse jedes Einzelnen zugeschnittene Reaktion.

Ziel dieses Projekts ist es, bestimmte Aspekte der Validität eines KI-basierten Triage-Modells für Patienten mit dringendem oder ungeplantem Versorgungsbedarf zu untersuchen, um Patienten zu identifizieren, die eine Krankenhausbehandlung benötigen.

Dieses Projekt knüpft an eine frühere Studie an, die ein KI-Modell zur Triage von Patienten unter Verwendung von SOS Médecins Grand Paris entwickelt hat. Ähnlich wie beim SAS schildern Personen, die SOS Médecins anrufen, ihr Problem einem medizinischen Disponenten (MDA), der in den meisten Fällen einen Hausbesuch vereinbart.

Die Datenbanken von SOS Médecins enthalten Audioaufnahmen von Versorgungsanfragen und die medizinischen Entscheidungen der Ärzte nach ihren Hausbesuchen, einschließlich der Frage, ob der Patient ins Krankenhaus überwiesen wurde (die Daten zu den Behandlungsergebnissen der Patienten sind vollständig). Daher wurde mithilfe von KI ein prädiktives Modell für die Inanspruchnahme von Krankenhausdiensten durch Patienten nach einem Hausbesuch eines SOS-Arztes entwickelt. Das Modell "hört" die Gespräche zwischen Patient und MDA und sagt die Inanspruchnahme von Krankenhausdiensten nach dem Hausbesuch des Arztes voraus.

Das Modell und seine Entwicklung sind Gegenstand eines Artikels, der derzeit zur Veröffentlichung in einer internationalen Zeitschrift eingereicht wurde. Während der Testphase erreichte es eine Fläche unter der ROC-Kurve (Receiver Operating Characteristic) von 0,80. Letztendlich muss das KI-basierte Modell in Echtzeit arbeiten und den MDAs Informationen zur Unterstützung ihrer Arbeit liefern. Zunächst zielt dieses Projekt darauf ab, die Validierung des Systems abzuschließen. Anschließend muss es unter realen Bedingungen implementiert und getestet werden, um die Vorteile der Patiententriage durch MDAs unter Verwendung der Vorhersagen des Modells zu bestimmen.

Es ist anzumerken, dass SOS Médecins nicht identisch mit dem SAS ist, aber Ähnlichkeiten aufweist. Erstens arbeiten beide Strukturen ähnlich: Ein per Telefon kontaktierter MDA versucht, eine Anfrage nach dringender oder ungeplanter Versorgung zu bearbeiten. Das Spektrum der möglichen Reaktionen ist für beide Strukturen gleich (SOS bietet nicht nur Hausbesuche an, sondern führt auch persönliche oder Videokonsultationen durch und leitet bestimmte Anrufe an den medizinischen Notdienst weiter), ebenso wie die Einbeziehung ärztlicher Expertise bei Bedarf (medizinische Steuerung). Zweitens ist SOS Médecins einer der nachgelagerten Akteure des SAS. Da SOS älter und der breiten Öffentlichkeit sowie medizinischem Fachpersonal besser bekannt ist als der SAS (der derzeit nur 60% des nationalen Territoriums abdeckt), könnte SOS einen Rekrutierungsprozess haben, der dem dieses neuen Dienstes sehr ähnlich ist. Nach unserem Wissen gibt es noch keine Statistiken zum SAS, die einen Vergleich der Aktivitäten der beiden Strukturen ermöglichen würden. In diesem Zusammenhang wird eine Validierung des mit SOS-Daten entwickelten Modells innerhalb des SAS daher notwendig sein. Wenn zukünftige Daten zeigen, dass die beiden Strukturen ähnlich sind, könnte der SAS von diesem bei SOS entwickelten Projekt profitieren. SOS-Daten haben einen signifikanten Vorteil gegenüber SAS-Daten: Sie enthalten Informationen zu den Behandlungsergebnissen der Patienten, einschließlich der Frage, ob sie die Notaufnahme des Krankenhauses aufgesucht haben. Diese Kennzeichnung der Anrufe ermöglichte ein überwachtes Lernen eines KI-Modells.

Dieses Projekt, das nach unserem Wissen einzigartig ist, ebnet den Weg für eine Triage-Unterstützung, die im SAS (und vielleicht in gewissem Maße auch in Notaufnahmen) eingesetzt werden kann.

1.2. Vorteile für Patienten und das Gesundheitssystem Die frühzeitige Identifizierung von Patienten mit hohem Hospitalisierungsrisiko, von denen einige Erkrankungen haben, die eine Notfallversorgung in einer spezialisierten Einrichtung erfordern, sollte die klinische Entscheidungsfindung erleichtern und letztlich die Gesundheit der Patienten verbessern. Dies betrifft in erster Linie Patienten mit Erkrankungen, deren Prognose direkt mit der Geschwindigkeit der Versorgung zusammenhängt, wie schwere ischämische, respiratorische, traumatische oder infektiöse Erkrankungen, die davon profitieren, hospitalisiert zu werden, ohne auf einen Hausbesuch eines Arztes zu warten. Der Vorteil für Patienten wird daher eine Reduzierung verlorener Chancen aufgrund von Triage-Fehlern sein.

Darüber hinaus wird eine Triage vor den Notaufnahmen (wie vom früheren Gesundheitsminister vorgeschlagen und in einigen unterbesetzten Notaufnahmen umgesetzt und in Dänemark übliche Praxis) die Funktionsweise der Krankenhausnotaufnahmen verbessern, wo übermäßige Aktivität die Sterblichkeit älterer Patienten beeinflusst. Im Hinblick auf die öffentliche Gesundheit könnte die Einführung eines effektiven Triage-Systems daher den Zugang zu dringender und ungeplanter Versorgung verbessern.

Forschungsziele und Bewertungskriterien Das KI-basierte Triage-Modell zur Identifizierung von Patienten, die ins Krankenhaus überwiesen werden müssen, wurde bereits entwickelt und unter Verwendung von Anrufen bei SOS Médecins Grand Paris getestet. Ein Artikel wird derzeit veröffentlicht. Daher konzentriert sich dieses Projekt nicht auf die Entwicklung oder interne Validierung des Triage-Modells, sondern auf andere Aspekte im Zusammenhang mit seiner Validierung: prospektive und externe Validierung; Vergleich seiner Vorhersagen mit denen eines medizinischen Experten; Untersuchung sozialer Diskriminierung, die mit seiner Verwendung verbunden sein könnte; und die Bestimmung der tatsächlichen Nutzungsbedingungen im Gesundheitswesen.

2.1. Ziel und primärer Endpunkt Die prospektive Bewertung der Leistung prädiktiver Modelle anhand operativer Realweltdaten ist ein entscheidender Schritt zur Integration dieser Modelle in den klinischen Kontext und zur Bewertung ihrer Auswirkungen auf die Patientenversorgung.

- Primäres Ziel (PZ): Prospektive Validierung des Triage-Modells zur Identifizierung von Patienten, die nach einem Hausbesuch eines Arztes ins Krankenhaus überwiesen werden.

Die Fläche unter der ROC-Kurve (AROC) liefert ein Gesamtmaß für die Leistung eines Klassifikationssystems.

Es ist anzumerken, dass alle in dieser Studie verwendeten Daten retrospektiv sind. Das Modell wurde unter Verwendung von Daten aus 2023 und früher (bis einschließlich 2017) entwickelt, und die "prospektiven" Daten sind die nach seiner Entwicklung und werden die Daten für 2024 sein.

- Primärer Endpunkt (PE): Vergleich der AROCs, die aus repräsentativen Stichproben retrospektiver und prospektiver Daten von SOS Médecins Paris erhalten wurden.

2.2. Sekundäre Ziele und Endpunkte Eine externe Validierung anhand von Patientendaten von separaten geografischen Standorten ist notwendig, um zu verstehen, wie an einem Standort entwickelte Modelle sicher und effektiv an anderen Standorten implementiert werden können.

- Sekundäres Ziel #1 (SZ1): Externe Validierung des Triage-Modells

• Sekundärer Endpunkt #1 (SEP1): Vergleich der AROCs, die aus repräsentativen Stichproben retrospektiver Daten von SOS Médecins Grand Paris und Ajaccio erhalten wurden.
• SEP2: Vergleich der Vorhersagen des Triage-Modells mit denen eines Expertenarztes.
• Sekundärer Endpunkt #2 (SEP2): Vergleich der korrekten Vorhersageraten zwischen dem Triage-Modell und einem Expertenarzt anhand einer ausgeglichenen, nicht-repräsentativen Stichprobe (d.h. bestehend aus 50% der Patienten, die nach einem Hausbesuch des Arztes ins Krankenhaus überwiesen werden, anstatt 3% wie in der Realität) von Daten aus SOS Médecins Grand Paris.

Es wurde festgestellt, dass mehrere KI-basierte Triage-Systeme diskriminierend sind. Zwei bekannte Beispiele veranschaulichen diesen Punkt:

• die Auswahl von Computer-Ingenieuren für Stellenbewerbungen anhand ihrer Lebensläufe: Das System wurde unter Verwendung bestehender Ingenieure trainiert, die überwiegend männlich waren, und benachteiligte Frauen;
• Die Erkennung von Melanomen aus Dermatoskop-Bildern: Das System wurde unter Verwendung heller Hauttöne trainiert und war bei dunklen Hauttönen weniger effektiv.
• SZ3: Untersuchung potenzieller Diskriminierungsphänomene im Zusammenhang mit dem Modell, in Bezug auf die sozialen Merkmale der Patienten.
• Sekundärer Endpunkt #3 (CJS3): Vergleich der AROCs, die aus repräsentativen Stichproben von SOS Médecins Grand Paris-Daten für beide Geschlechter erhalten wurden.

Der Übergang von einem validierten prädiktiven Modell zu einem effizienten Gerät unter realen Bedingungen ist eine bekannte Herausforderung in der KI.

- SZ4: Bestimmung der realen Nutzungsbedingungen des Modells durch MDAs.

- Sekundärer Endpunkt #4 (SEP4): Erstellung von Spezifikationen für die Implementierung des Triage-Systems durch MDAs

Auswahl und Ausschluss von Personen aus der Studie 3.1. Einschlusskriterien Personen jeden Alters, die 2024 oder früher nach einem Anruf einen Hausbesuch von einem SOS-Arzt erhalten haben.

3.2. Ausschlusskriterien Personen, die nicht Französisch sprechen. Personen ohne Krankenversicherung.

Beschreibung der Studie 4.1. Studientyp Es handelt sich im Wesentlichen um eine Studie zur Validierung eines KI-basierten Patiententriage-Modells. Sie wird unter Verwendung von Beobachtungsdaten durchgeführt.

4.2. Forschungsprozess 4.2.1. Ort der Forschung Die Studie wird in den Räumlichkeiten von SOS Médecins durchgeführt. Medizinische Experten von SOS Médecins Grand Paris werden für die Durchführung von SZ2 rekrutiert.

4.2.2. Rekrutierungsmethoden Es werden Daten verwendet, die von SOS Médecins im Rahmen seiner Aktivitäten gesammelt wurden.

4.2.3. Patientenversorgungsverfahren Das Projekt konzentriert sich auf die Notwendigkeit, Krankenhäuser zur Deckung des Bedarfs an dringender oder ungeplanter Versorgung von Patienten in der Gemeinschaft zu nutzen. Es wird jedoch nicht in die Patientenversorgung eingreifen.

4.2.4. Verfahren zum Studienausstieg Patienten, die um einen Ausschluss bitten, werden ausgeschlossen.

4.2.5. Datenerhebung

• PZ (prospektive Validierung), SZ1 (externe Validierung) und SZ3 (Diskriminierung):

Es werden die bereits im Rahmen der Aktivitäten von SOS Médecins gesammelten Daten verwendet. Beide Standorte (Paris und Ajaccio, Korsika) verwenden dieselbe Software zur Verwaltung von Telefonanrufen vom Zeitpunkt ihres Eingangs und ihrer Aufzeichnung bis zum Ende des SOS-Versorgungsprozesses (d.h. dem Ende des Hausbesuchs in unserem Fall), einschließlich der Eingabe administrativer und medizinischer Daten (SOS Médecins-Akte). Hier ist die Liste der Daten, die verwendet werden, und wie sie für die Analyse verarbeitet werden:

- Transkripte von Audioaufnahmen der Gespräche zwischen Patienten und MDAs. KI-Vorhersagen werden auf der Grundlage dieser Transkripte (und nur dieser Transkripte) erstellt.

• Daten aus der SOS Médecins-Akte:
• Wochentag, Monat, Jahr und Uhrzeit des Telefonanrufs;
• die Nummer des Zensusgebiets des Besuchsortes wird aus der vom Patienten angegebenen Adresse ermittelt. Zensusgebiete sind die kleinsten räumlichen Einheiten, für die statistische Daten verfügbar sind, während die Anonymität ihrer Bewohner gewahrt bleibt. Mehrere sozioökonomische Variablen aus dem Zensus des INSEE (Nationales Institut für Statistik und Wirtschaftsstudien) sind auf dieser Ebene verfügbar, wie Arbeitslosenquoten, Abiturienten, Arbeiter, Medianeinkommen, der Index sozialer Benachteiligung (auch bekannt als FDep für French DEPrivation index) und EDI (für Ecological Deprivation Index). Diese verschiedenen Variablen liefern ökologische (im Gegensatz zu individuellen) Maße für die soziale Position der dort lebenden Personen;
• Gründe für den Anruf, definiert durch den MDA, basierend auf einer vordefinierten Liste, aber nicht entsprechend einer internationalen Klassifikation. Mehrere Gründe können für denselben Anruf gemeldet werden;
• Dringlichkeitsstufe (4 Stufen), definiert durch den MDA;
• Datum und Uhrzeit des Endes des Hausbesuchs, definiert durch den Arzt am Ende des Besuchs
• Konsultationsdiagnosen, definiert durch den Arzt am Ende des Besuchs, basierend auf einer vordefinierten Liste, aber nicht entsprechend einer internationalen Klassifikation. Mehrere Gründe können für dieselbe Konsultation gemeldet werden.
• Status des Patienten am Ende des Besuchs (geschlossene Liste: vor Ort belassen, Überweisung in die Krankenhausnotaufnahme, Alarmierung des medizinischen Notdienstes).
• Art der Überweisung in die Krankenhausnotaufnahme (geschlossene Liste: mit eigenen Mitteln, Krankenwagen, Feuerwehr, SMUR).
• SZ2 (medizinischer Experte):

Einige individuelle Daten werden von den medizinischen Experten, die an der Erreichung dieses Ziels teilnehmen, erhoben: Alter, Geschlecht, Berufserfahrung insgesamt und innerhalb von SOS Médecins, Fachgebiet.

Darüber hinaus werden diese Ärzte nach dem Lesen der Transkripte der Telefongespräche zwischen Patienten und MDAs gebeten, die Wahrscheinlichkeit einer Krankenhauseinweisung der Patienten einzuschätzen.

Ihnen werden zwei Fragen gestellt:

• Wie hoch ist die Wahrscheinlichkeit, dass dieser Patient nach dem Besuch des SOS-Arztes hospitalisiert wird? Antwort durch Setzen eines Kreuzes auf der Skala von 0 (keine Hospitalisierung) bis 100 (Hospitalisierung).
• Wie sicher sind Sie sich bezüglich dieser Wahrscheinlichkeit? Antwort durch Setzen eines Kreuzes auf der Skala von 0 (keine Sicherheit) bis 100 (völlige Sicherheit)

Beschreibung der Studieninterventionen Es gibt keine Interventionen in dieser Studie, die streng beobachtend ist.

Dennoch beschreiben wir hier die Organisation der Arbeit, die zur Erreichung von SZ2 und SZ4 durchgeführt wird.

• SZ2 (medizinischer Experte):

Um die Vorhersagen des Triage-Modells zur Krankenhausnutzung mit denen eines medizinischen Experten zu vergleichen, werden auf freiwilliger Basis Ärzte von SOS Médecins Grand Paris mit mehr als fünf Jahren Erfahrung in der Organisation rekrutiert. Jeder dieser Ärzte wird gebeten, die Wahrscheinlichkeit der Krankenhausnutzung für mehrere Patienten/Anrufe einzuschätzen (siehe §4.2.5. Datenerhebung).

- SZ4 (reale Bedingungen): Es wird eine Arbeitsgruppe gebildet, bestehend aus Statistiker*innen, Informatiker*innen, MDAs, SOS-Ärzt*innen und Ergonomieforscher*innen, um die beste Art und Weise zu erwägen, den MDAs die Wahrscheinlichkeit der Krankenhausnutzung bereitzustellen. Mehrere Fragen müssen behandelt werden: wie die Wahrscheinlichkeit auf dem Bildschirm angezeigt wird, der Wahrscheinlichkeitsschwellenwert, ob der Anruf an den Disponentenarzt weitergeleitet werden sollte (und wenn ja, bei welchem Schwellenwert), der Einfluss der Wahrscheinlichkeit auf die Dringlichkeitsstufe des Anrufs, wie vom MDA definiert, und die Möglichkeit, bestimmten dringenden Anfragen Vorrang zu geben. Nach einem ersten Arbeitstreffen wird eine Version mit freiwilligen MDAs implementiert. Nach anfänglicher Nutzung unter realen Bedingungen wird Feedback gesammelt und ein neues Experiment durchgeführt. Schließlich werden Spezifikationen für die Implementierung unter realen Bedingungen erstellt (mit Begründung für die getroffenen Entscheidungen), damit das Triage-Modell auf verschiedenen IT-Plattformen implementiert werden kann.

Statistische Analysen 6.1. Berechnung der Anzahl der Probanden - PZ (prospektive Validierung): Um zu zeigen, dass die AROC bei prospektiven Daten von der ROC bei retrospektiven Daten abweicht, wenn AROCs von 0,75 bzw. 0,80 beobachtet werden, benötigen wir 13.560 Patienten/Anrufe pro Stichprobe (d.h. 407 Patienten, die ins Krankenhaus überwiesen werden, und 13.153 Patienten, die nicht überwiesen werden, entsprechend den 3% der Patienten, die bei SOS Médecins Grand Paris ins Krankenhaus überwiesen werden), unter der Annahme eines Alpha-Risikos von 5%, einer Power von 90% und eines zweiseitigen Tests. Dieses Ergebnis wurde unter Verwendung der power tworoc-Funktion der Statistiksoftware Stata erhalten.

- SZ1 (externe Validierung): Gemäß derselben Berechnung wie für das PZ muss in Ajaccio, Korsika, eine Stichprobe von 13.560 Patienten mobilisiert werden.

- SZ2 (Expertenärzte): Während alle anderen Analysen auf repräsentativen Stichproben basieren werden, basiert diese Analyse aus zwei Gründen auf einer ausgeglichenen Stichprobe (d.h. bestehend aus 50% der Patienten, die ins Krankenhaus überwiesen werden, und 50%, die nicht überwiesen werden). Mit einer niedrigen Rate an Krankenhausüberweisungen (3%) und einer geringen Anzahl von zu bewertenden Anrufen für jeden der Expertenärzte wäre eine mögliche Strategie für einen Arzt, der eine gute Leistung sicherstellen möchte, niemals Patienten ins Krankenhaus zu überweisen. Darüber hinaus würde eine repräsentative Stichprobe nicht die Untersuchung falsch-negativer Fälle ermöglichen (Patienten mit einer niedrigen geschätzten Wahrscheinlichkeit einer Krankenhausüberweisung, wenn sie tatsächlich überwiesen werden), da es zu wenige davon gäbe.

Um einen Unterschied in der korrekten Vorhersagerate zwischen dem Triage-Modell und einem Expertenarzt aufzuzeigen, wären 365 Anrufe von Patienten, die das Krankenhaus nutzen (und die gleiche Anzahl von Patienten, die es nicht nutzen) erforderlich, unter der Annahme einer korrekten Vorhersagerate von 58% (siehe Anhänge §12.2 für die Bestimmung dieser Rate) bzw. 68% (a priori Wahl von 10 zusätzlichen Prozentpunkten) für das Triage-Modell und den Expertenarzt, mit einem Alpha-Risiko von 5%, einer Power von 80% und einem zweiseitigen Test (Stat's power twoproportions function).

Basierend auf einer Bewertung von einem Anruf alle 5 Minuten werden insgesamt 61 Stunden Arbeitszeit von medizinischen Experten benötigt. Basierend auf 4 Stunden Arbeit pro Arzt entspricht dies 16 zu rekrutierenden medizinischen Experten.

- SZ3 (Diskriminierung): Gemäß derselben Berechnung wie für das PZ muss eine Stichprobe von 13.560 Patienten jedes Geschlechts mobilisiert werden, wenn wir einen Unterschied in der AROC des Triage-Modells zwischen Männern und Frauen zeigen wollen. Das Geschlechterverhältnis der Personen, die SOS Médecins Grand Paris anrufen, liegt nahe bei 1. Es werden sowohl retrospektive als auch prospektive Stichproben von SOS Médecins Grand Paris aus dem PZ verwendet.

6.2. Beschreibung der verwendeten statistischen Analysen Die Studie wird gemäß den TRIPOD-AI-Empfehlungen durchgeführt, den Leitlinien für die Berichterstattung von prognostischen und diagnostischen Studien (speziell für KI)

6.2.1. Auswahl der in die Analysen einzubeziehenden Personen Für alle Ziele wird die Auswahl der einzubeziehenden Personen durch Zufallsziehung basierend auf einer runden Anzahl von Jahren erfolgen. Dies wird alle Stunden des Tages, Tage der Woche und Monate des Jahres abdecken. Für SZ3 wird die nicht-repräsentative Stichprobe 50% der ins Krankenhaus überwiesenen Patienten enthalten.

6.2.2. Deskriptive Statistiken Deskriptive Analysen werden für alle erhobenen Variablen durchgeführt. Quantitative Variablen werden anhand ihres Mittelwerts, Medians, Standardabweichung, 95%-Konfidenzintervall, Interquartilsabstand, Minimum, Maximum, Anzahl fehlender Werte und Anzahl unbrauchbarer Werte beschrieben. Qualitative Variablen werden anhand ihrer Prozentsätze und 95%-Konfidenzintervall beschrieben. Die verstrichene Zeit zwischen Anruf und Ende des Besuchs wird dargestellt. Diese Analysen werden für alle Stichproben und stratifiziert nach Krankenhausnutzung durchgeführt.

6.2.3. Analyse des primären Endpunkts Wir beginnen mit der Darstellung der generischen Analysestrategie, die für verschiedene Zwecke verwendet wird.

Um die Leistung der verschiedenen Triage-Systeme (KI und medizinischer Experte) an verschiedenen Stichproben (prospektiv oder retrospektiv, in Paris oder Ajaccio, Korsika) von Patienten zu bewerten, werden ROC- und Precision-Recall (PR)-Kurven gezeichnet und die Flächen unter diesen Kurven (AROC und APR) geschätzt. Die AROC ermöglicht es uns, die Gesamtleistung eines Klassifikationssystems zu messen. APR wird ebenfalls verwendet, da es besonders informativ ist bei der Bewertung binärer Klassifikatoren an unausgeglichenen Datensätzen, in denen die Anzahl negativer Ergebnisse die Anzahl positiver Ergebnisse bei weitem überwiegt (was unserer Situation entspricht). Um zwei Triage-Systeme (z.B. KI und medizinischer Experte) oder dasselbe Triage-System (z.B. KI) an zwei verschiedenen Populationen (z.B. Paris und Ajaccio, Korsika) zu vergleichen, werden ihre AROCs verglichen.

Darüber hinaus werden zur sinnvollen Bewertung der Leistung aus operativer Perspektive Sensitivität (Sen), Spezifität (Spe), positive prädiktive Werte (PPV) und negative prädiktive Werte (NPV) für verschiedene Schwellenwerte berechnet.

- PZ (prospektive Validität): Die generische Analysestrategie für das KI-Triage-Modell wird an zwei repräsentativen Stichproben durchgeführt, einer retrospektiven (2023 und frühere Jahre) und einer prospektiven (2024 Jahre) von SOS Médecin Grand Paris.

6.2.4. Analyse der sekundären Endpunkte

- SZ1 (externe Validität): Die generische Analysestrategie bezüglich des KI-Triage-Modells wird an zwei repräsentativen retrospektiven Stichproben von SOS Médecin Grand Paris und Ajaccio, Korsika, durchgeführt.

- SZ2 (Expertenärzte): Die korrekten Vorhersageraten der beiden Triage-Systeme (KI und Expertenärzte) werden unter Verwendung eines statistischen Tests verglichen.

Explorativer:

- Die AROCs der beiden Triage-Systeme werden berechnet (generische Analysestrategie).

- Die Vorhersageunterschiede zwischen den beiden Triage-Systemen werden basierend auf der tatsächlichen Krankenhausnutzung und Patienteneigenschaften modelliert.

- Gewichtete Kappa-Koeffizienten werden zwischen den beiden Vorhersagen berechnet.

- Sensitivitätsanalysen werden basierend auf dem von medizinischen Experten berichteten Sicherheitsniveau durchgeführt (insbesondere hohe und niedrige Sicherheitsniveaus);

• stratifizierte Analysen der tatsächlichen Krankenhausnutzung werden durchgeführt (Untersuchung von true positives und true negatives).

Wo möglich, werden die Analysen berücksichtigen, dass derselbe medizinische Experte mehrere Anrufe/Patienten untersucht haben könnte.

• SZ3 (Diskriminierung):

Diskriminierung wird gemäß den folgenden sozialen Merkmalen untersucht: Alter, Geschlecht und soziale Position (geschätzt basierend auf den sozioökonomischen Merkmalen des Zensusgebiets des Besuchsortes). Alter und ökologische Variablen der sozialen Position werden in Form von Tertilen und Quintilen verwendet. Die generische Analysestrategie bezüglich des KI-Triage-Modells an repräsentativen Stichproben von SOS Médecin Grand Paris, stratifiziert nach den oben genannten sozialen Merkmalen, wird durchgeführt. Der Vergleich der AROCs wird bestimmen, ob die Triage gemäß den oben genannten sozialen Merkmalen gleich effektiv ist.

Darüber hinaus wird auch ein Vergleich der Erfolge (true positives und true negatives gemeinsam und separat) gemäß den oben genannten Merkmalen unter Verwendung univariater und dann multivariater logistischer Modelle durchgeführt. Diese Analysen werden für verschiedene Risikoschwellen durchgeführt.

- SZ4 (reale Bedingungen) Nach Diskussionen unter Kollegen und Tests im Maßstab werden Spezifikationen für die Implementierung unter realen Bedingungen erstellt, damit das Triage-Modell auf verschiedenen IT-Plattformen implementiert werden kann. Die Begründung hinter den getroffenen Entscheidungen wird in diesen Spezifikationen angegeben.