Validering av proksimal femur bildedatabase

AO@AI Turin-prosjektet er et samarbeidsprosjekt med en Torino-gruppe som har samlet inn 2 932 anteroposterior (AP) bekkenrøntgenbilder, hvorav 1 811 er bruddbilder, og 1 121 bilder uten brudd. Torino-gruppen har utviklet en kunstig intelligens (AI) algoritme for bruddklassifisering ved hjelp av disse bildene. Disse anonymiserte bildene (med alle metadata eller personlige identifikatorer fjernet) har blitt lastet opp til en skybasert bildedatabase (DB) hostet og administrert av AO Foundation.

Torino-gruppen har etablert "grunnsannheten" ved å bruke metodene "konsensus fra eksperter". To radiologer fra deres medisinske team har gjennomgått og klassifisert bruddstatusen (fraktur vs ikke-fraktur, og, hvis brudd, AO/Orthopedic Trauma Association [OTA] klassifisering).

Det neste trinnets mål er valideringsplanen for grunnsannheten for å teste nøyaktigheten av Torino-annoteringen av frakturklassifisering av de allerede opplastede AP-bekkenbildene. Dette er for å sikre at bilde-DB tilbyr nøyaktige kvalitetsmerknader for å tillate AI-utvikling.

For pilotfasen vil en tilfeldig delmengde av Torino-bildene (300 bilder) trekkes fra bilde-DB. Disse bildene vil bli gjennomgått av en ekstern gruppe av AO-ekspertkirurger som vil kommentere bildene i henhold til deres frakturstatus, dvs. fraktur vs ikke-fraktur, og, hvis fraktur, AO/OTA-klassifiseringen.

Gruppen av AO-ekspertkirurger består av fire kirurger som uavhengig skal gjennomgå de 300 bildene og en femte kirurg som fungerer som dommer om nødvendig. Ekspertkirurgene vil få tilgang til de 300 bildene via den skybaserte bildedatabasen og kommentere bildene. Ekspertkirurgene vil bli blindet for Torino-kommentarene. De sakkyndige kirurgenes merknader vil bli lagt inn i en DB bygget for formålet for pilotstudien.

For å fastslå grunnsannheten, vil kommentarene til de fire kirurgene bli sammenlignet, og avvik vil bli identifisert. Det vil deretter bli arrangert et møte mellom kirurgene for å løse, ved konsensus, uoverensstemmelsene, med potensiell involvering av den femte kirurgen som dommer. Etter resolusjonsmøtet vil det være et enkelt sett med merknader til de 300 bildene fra øvelseskirurggruppen.

Torino-kommentarene vil også bli lagt inn i studie-DB for å tillate sammenligninger med ekspertkirurggruppens annotering.

I tilfelle uenighet mellom Torino-kommentaren og AO-ekspertens kirurgkommentarer, vil det søkes enighet om å etablere en ny grunnsannhet. Hvis denne prosessen resulterer i betydelige revisjoner av merknadene, vil hele datasettet bli gjennomgått for å sette denne nye standarden. Etter en slik omfattende datasettrevisjon vil algoritmen for automatisert frakturklassifisering av den proksimale femur, som allerede er utviklet av Torino-gruppen, trenes på nytt. Etter omtrening vil algoritmens ytelse bli evaluert gjennom beregninger som presisjon, tilbakekalling og F1-score for å sikre nøyaktigheten og effektiviteten ved klassifisering av proksimale femurfrakturer.