Proksimal Femur Image Database Validering

AO@AI Turin-projektet er et samarbejdsprojekt med en Turin-gruppe, som har indsamlet 2.932 anteroposterior (AP) bækkenrøntgenbilleder, hvoraf 1.811 er frakturbilleder, og 1.121 er ikke-frakturbilleder. Turin-gruppen har udviklet en kunstig intelligens (AI) algoritme til frakturklassificering ved hjælp af disse billeder. Disse anonymiserede billeder (med alle metadata eller personlige identifikatorer fjernet) er blevet uploadet til en cloud-baseret billeddatabase (DB), der hostes og administreres af AO Foundation.

Torino-gruppen har etableret "grundsandheden" ved hjælp af metoderne "konsensus fra eksperter". To radiologer fra deres medicinske team har gennemgået og klassificeret frakturstatus (fraktur vs ikke-fraktur, og, hvis fraktur, AO/Orthopedic Trauma Association [OTA] klassifikationen).

Det næste trins mål er grundsandhedens valideringsplan for at teste nøjagtigheden af ​​Torino-annoteringen af ​​frakturklassificering af de allerede uploadede AP bækkenbilleder. Dette er for at sikre, at billed-DB tilbyder nøjagtige kvalitetsannoteringer for at tillade AI-udvikling.

Til pilotfasen vil en tilfældig delmængde af Torino-billederne (300 billeder) blive tegnet fra billed-DB. Disse billeder vil blive gennemgået af en ekstern gruppe af AO-ekspertkirurger, som vil kommentere billederne efter deres frakturstatus, dvs. fraktur vs ikke-fraktur, og, hvis fraktur, AO/OTA-klassifikationen.

Gruppen af ​​AO-ekspertkirurger består af fire kirurger, som uafhængigt vil gennemgå de 300 billeder og en femte kirurg, der fungerer som dommer, hvis det er nødvendigt. Ekspertkirurgerne vil få adgang til de 300 billeder via den cloud-baserede billed-DB og annotere billederne. Ekspertkirurger vil blive blindet for Torino-annoteringerne. De sagkyndige kirurgers anmærkninger vil blive lagt ind i en DB, der er bygget til formålet til pilotundersøgelsen.

For at bestemme grundsandheden vil de fire kirurgers annoteringer blive sammenlignet, og uoverensstemmelser vil blive identificeret. Der vil derefter blive arrangeret et møde blandt kirurgerne for ved konsensus at løse uoverensstemmelserne med den potentielle involvering af den femte kirurg som dommer. Efter beslutningsmødet vil der være et enkelt sæt annoteringer til de 300 billeder fra øvelseskirurggruppen.

Torino-annotationerne vil også blive lagt ind i undersøgelses-DB for at muliggøre sammenligninger med ekspertkirurggruppens annotering.

I tilfælde af uenighed mellem Torino-annotationen og AO-ekspertens kirurg-annoteringer, vil der blive søgt en konsensus om at etablere en ny grundsandhed. Hvis denne proces resulterer i væsentlige revisioner af annoteringerne, vil hele datasættet blive gennemgået for at sætte denne nye standard. Efter en sådan omfattende datasætrevision vil algoritmen til automatiseret frakturklassificering af det proksimale lårben, som allerede er udviklet af Turin-gruppen, blive genoptrænet. Efter genoptræning vil algoritmens ydeevne blive evalueret gennem målinger som præcision, tilbagekaldelse og F1-score for at sikre dens nøjagtighed og effektivitet ved klassificering af proksimale lårbensfrakturer.