Walidacja bazy danych obrazów bliższej kości udowej

Projekt AO@AI Turin to wspólny projekt z grupą z Turynu, która zebrała 2932 radiogramy miednicy w odcinku przednio-tylnym (AP), z czego 1811 to obrazy złamań, a 1121 to obrazy bez złamań. Grupa z Turynu opracowała algorytm sztucznej inteligencji (AI) do klasyfikacji pęknięć na podstawie tych obrazów. Te zanonimizowane obrazy (z usuniętymi wszystkimi metadanymi i identyfikatorami osobistymi) zostały przesłane do opartej na chmurze bazy danych obrazów (DB) hostowanej i zarządzanej przez Fundację AO.

Grupa turyńska ustaliła „podstawową prawdę” za pomocą metod „konsensusu ekspertów”. Dwóch radiologów z ich zespołu medycznego sprawdziło i sklasyfikowało stan złamania (złamanie vs. brak złamania, a w przypadku złamania, klasyfikacja AO/Orthopedic Trauma Association [OTA]).

Celem następnego kroku jest plan weryfikacji podstawowej prawdy, mający na celu sprawdzenie dokładności adnotacji Turyńskiej dotyczącej klasyfikacji złamań na już przesłanych obrazach miednicy AP. Ma to na celu zapewnienie, że baza danych obrazów będzie zawierać dokładne adnotacje dotyczące jakości, co umożliwi rozwój sztucznej inteligencji.

Na potrzeby fazy pilotażowej z bazy danych obrazów zostanie pobrany losowy podzbiór obrazów Turynu (300 obrazów). Obrazy te zostaną sprawdzone przez zewnętrzną grupę chirurgów-ekspertów AO, którzy opatrzą je adnotacjami pod względem statusu złamania, tj. złamania czy braku złamania, a w przypadku złamania – klasyfikacji AO/OTA.

Grupa chirurgów-ekspertów AO składa się z czterech chirurgów, którzy niezależnie przejrzą 300 zdjęć, oraz piątego chirurga, który w razie potrzeby pełni funkcję arbitra. Doświadczeni chirurdzy uzyskają dostęp do 300 obrazów za pośrednictwem bazy danych obrazów w chmurze i będą mogli dodawać do nich adnotacje. Doświadczeni chirurdzy będą zaślepieni na adnotacje z Turynu. Adnotacje ekspertów chirurgów zostaną wprowadzone do bazy danych utworzonej na potrzeby badania pilotażowego.

Aby ustalić podstawową prawdę, zostaną porównane adnotacje czterech chirurgów i zostaną zidentyfikowane rozbieżności. Następnie zostanie zorganizowane spotkanie chirurgów w celu rozwiązania w drodze konsensusu rozbieżności, przy potencjalnym zaangażowaniu piątego chirurga w roli arbitra. Po spotkaniu w sprawie uchwały do ​​300 obrazów wykonanych przez grupę chirurgów będzie dostępny jeden zestaw adnotacji.

Adnotacje z Turynu zostaną również wprowadzone do bazy danych badania, aby umożliwić porównania z adnotacjami grupy chirurgów-ekspertów.

W przypadku rozbieżności pomiędzy adnotacją Turynu a adnotacjami eksperta chirurga AO, dąży się do osiągnięcia konsensusu w celu ustalenia nowej podstawowej prawdy. Jeśli proces ten spowoduje istotne zmiany w adnotacjach, cały zbiór danych zostanie poddany przeglądowi w celu ustalenia nowego standardu. Po tak kompleksowej rewizji zbioru danych algorytm automatycznej klasyfikacji złamań bliższego końca kości udowej, który został już opracowany przez grupę z Turynu, zostanie ponownie przeszkolony. Po ponownym przeszkoleniu działanie algorytmu zostanie ocenione na podstawie takich wskaźników, jak precyzja, zapamiętywanie i wynik F1, aby zapewnić jego dokładność i skuteczność w klasyfikacji złamań bliższej części kości udowej.