Convalida del database delle immagini del femore prossimale

Il progetto AO@AI Torino è un progetto di collaborazione con un gruppo torinese che ha raccolto 2.932 radiografie pelviche anteroposteriori (AP), di cui 1.811 sono immagini di frattura e 1.121 sono immagini non di frattura. Il gruppo di Torino ha sviluppato un algoritmo di intelligenza artificiale (AI) per la classificazione delle fratture utilizzando queste immagini. Queste immagini rese anonime (con tutti i metadati o gli identificatori personali rimossi) sono state caricate in un database di immagini (DB) basato su cloud ospitato e gestito dalla AO Foundation.

Il gruppo torinese ha stabilito la "verità fondamentale" utilizzando i metodi del "consenso degli esperti". Due radiologi del loro team medico hanno esaminato e classificato lo stato della frattura (frattura vs non frattura e, in caso di frattura, classificazione AO/Orthopedic Trauma Association [OTA]).

L'obiettivo del passo successivo è il piano di validazione della realtà per testare l'accuratezza dell'annotazione di Torino della classificazione delle fratture delle immagini pelviche AP già caricate. Questo per garantire che il DB delle immagini offra annotazioni di qualità accurate per consentire lo sviluppo dell'intelligenza artificiale.

Per la fase pilota, un sottoinsieme casuale delle immagini di Torino (300 immagini) verrà estratto dal DB delle immagini. Queste immagini saranno esaminate da un gruppo esterno di chirurghi esperti AO che annoteranno le immagini in base al loro stato di frattura, ovvero frattura vs non frattura e, in caso di frattura, classificazione AO/OTA.

Il gruppo di chirurghi esperti AO è composto da quattro chirurghi che esamineranno in modo indipendente le 300 immagini e un quinto chirurgo che funge da giudice, se necessario. I chirurghi esperti avranno accesso alle 300 immagini tramite il DB di immagini basato su cloud e annoteranno le immagini. Gli esperti chirurghi saranno accecati dalle annotazioni torinesi. Le annotazioni dei chirurghi esperti verranno inserite in un DB creato appositamente per lo studio pilota.

Per determinare la verità, verranno confrontate le annotazioni dei quattro chirurghi e verranno identificate le discrepanze. Verrà quindi organizzato un incontro tra i chirurghi per risolvere, per consenso, le discrepanze, con l'eventuale coinvolgimento del quinto chirurgo come giudice. Dopo la riunione risolutiva, ci sarà un'unica serie di annotazioni per le 300 immagini del gruppo di chirurghi esperti.

Le annotazioni di Torino verranno inoltre inserite nel DB dello studio per consentire confronti con l'annotazione del gruppo di esperti chirurghi.

In caso di disaccordo tra l'annotazione di Torino e le annotazioni del chirurgo esperto dell'AO, si cercherà un consenso per stabilire una nuova verità fondamentale. Se questo processo comporta revisioni significative delle annotazioni, l'intero set di dati verrà rivisto per stabilire questo nuovo standard. A seguito di una revisione così completa del dataset, l’algoritmo per la classificazione automatizzata delle fratture del femore prossimale, già sviluppato dal gruppo di Torino, verrà riqualificato. Dopo il riaddestramento, le prestazioni dell'algoritmo verranno valutate attraverso parametri quali precisione, richiamo e punteggio F1 per garantirne l'accuratezza e l'efficacia nella classificazione delle fratture del femore prossimale.