Validierung der Bilddatenbank des proximalen Femurs

Das AO@AI Turin-Projekt ist ein Kooperationsprojekt mit einer Turiner Gruppe, die 2.932 anteroposteriore (AP) Beckenröntgenbilder gesammelt hat, davon 1.811 Frakturbilder und 1.121 Nicht-Frakturbilder. Die Turiner Gruppe hat anhand dieser Bilder einen Algorithmus mit künstlicher Intelligenz (KI) zur Frakturklassifizierung entwickelt. Diese anonymisierten Bilder (ohne alle Metadaten oder persönlichen Identifikatoren) wurden in eine cloudbasierte Bilddatenbank (DB) hochgeladen, die von der AO Foundation gehostet und verwaltet wird.

Die Turiner Gruppe hat die „Ground Truth“ mit den Methoden des „Expertenkonsenses“ ermittelt. Zwei Radiologen aus ihrem medizinischen Team haben den Frakturstatus überprüft und klassifiziert (Fraktur vs. Nicht-Fraktur und bei Fraktur die AO/Orthopedic Trauma Association [OTA]-Klassifizierung).

Das Ziel des nächsten Schritts ist der Ground-Truth-Validierungsplan, um die Genauigkeit der Turin-Annotation zur Frakturklassifizierung der bereits hochgeladenen AP-Beckenbilder zu testen. Dadurch soll sichergestellt werden, dass die Bilddatenbank genaue Qualitätsanmerkungen bietet, um die KI-Entwicklung zu ermöglichen.

Für die Pilotphase wird eine zufällige Teilmenge der Turin-Bilder (300 Bilder) aus der Bilddatenbank gezogen. Diese Bilder werden von einer externen Gruppe von AO-Expertenchirurgen überprüft, die die Bilder nach ihrem Frakturstatus kommentieren, d. h. Fraktur vs. Nicht-Fraktur, und bei Fraktur die AO/OTA-Klassifizierung.

Die Gruppe der AO-Expertenchirurgen besteht aus vier Chirurgen, die die 300 Bilder unabhängig voneinander überprüfen, und einem fünften Chirurgen, der bei Bedarf als Beurteiler fungiert. Die erfahrenen Chirurgen erhalten über die cloudbasierte Bilddatenbank Zugriff auf die 300 Bilder und können die Bilder mit Anmerkungen versehen. Die erfahrenen Chirurgen werden für die Turiner Anmerkungen blind sein. Die Anmerkungen der erfahrenen Chirurgen werden in eine speziell für die Pilotstudie erstellte Datenbank eingegeben.

Um die Grundwahrheit zu ermitteln, werden die Anmerkungen der vier Chirurgen verglichen und Unstimmigkeiten identifiziert. Anschließend wird ein Treffen zwischen den Chirurgen vereinbart, um die Unstimmigkeiten einvernehmlich zu klären, wobei möglicherweise der fünfte Chirurg als Schiedsrichter einbezogen wird. Nach der Beschlussfassungssitzung wird es einen einzigen Satz Anmerkungen für die 300 Bilder der Gruppe der Chirurgen geben.

Die Turin-Anmerkungen werden auch in die Studiendatenbank eingegeben, um Vergleiche mit den Anmerkungen der Expertengruppe der Chirurgen zu ermöglichen.

Im Falle einer Meinungsverschiedenheit zwischen der Turin-Anmerkung und den Anmerkungen des AO-Expertenchirurgen wird ein Konsens angestrebt, um eine neue Grundwahrheit zu ermitteln. Wenn dieser Prozess zu erheblichen Überarbeitungen der Anmerkungen führt, wird der gesamte Datensatz überprüft, um diesen neuen Standard festzulegen. Im Anschluss an eine solch umfassende Überarbeitung des Datensatzes wird der von der Turiner Gruppe bereits entwickelte Algorithmus zur automatisierten Frakturklassifizierung des proximalen Femurs neu trainiert. Nach dem erneuten Training wird die Leistung des Algorithmus anhand von Metriken wie Präzision, Erinnerung und F1-Score bewertet, um seine Genauigkeit und Wirksamkeit bei der Klassifizierung proximaler Femurfrakturen sicherzustellen.