Proximale dijbeenbeelddatabasevalidatie

Het AO@AI Turijn-project is een samenwerkingsproject met een groep uit Turijn die 2.932 anteroposterieure (AP) bekkenröntgenfoto's heeft verzameld, waarvan 1.811 fractuurbeelden en 1.121 niet-fractuurbeelden. De Turijnse groep heeft met behulp van deze beelden een algoritme voor kunstmatige intelligentie (AI) ontwikkeld voor breukclassificatie. Deze geanonimiseerde afbeeldingen (waarbij alle metagegevens of persoonlijke identificatiegegevens zijn verwijderd) zijn geüpload naar een cloudgebaseerde afbeeldingendatabase (DB) die wordt gehost en beheerd door de AO Foundation.

De groep uit Turijn heeft de ‘grondwaarheid’ vastgesteld met behulp van de methoden van ‘consensus door deskundigen’. Twee radiologen van hun medisch team hebben de fractuurstatus beoordeeld en geclassificeerd (fractuur versus niet-fractuur, en, indien fractuur, de classificatie van de AO/Orthopedic Trauma Association [OTA]).

Het doel van de volgende stap is het grondwaarheidsvalidatieplan om de nauwkeurigheid van de Turijnse annotatie van de fractuurclassificatie van de reeds geüploade AP-bekkenbeelden te testen. Dit is om ervoor te zorgen dat de beeld-DB nauwkeurige kwaliteitsannotaties biedt om AI-ontwikkeling mogelijk te maken.

Voor de pilotfase zal een willekeurige subset van de Turijnse afbeeldingen (300 afbeeldingen) uit de beeld-DB worden gehaald. Deze beelden zullen worden beoordeeld door een externe groep van AO-deskundige chirurgen die de beelden zullen annoteren op basis van hun fractuurstatus, d.w.z. breuk versus niet-breuk, en, indien breuk, de AO/OTA-classificatie.

De groep AO-expertchirurgen bestaat uit vier chirurgen die onafhankelijk de 300 beelden beoordelen en een vijfde chirurg die indien nodig als jurylid optreedt. De deskundige chirurgen krijgen via de cloudgebaseerde beeld-DB toegang tot de 300 beelden en kunnen de beelden annoteren. De deskundige chirurgen zullen blind zijn voor de annotaties van Turijn. De annotaties van de deskundige chirurgen zullen worden ingevoerd in een DB die speciaal voor de pilotstudie is gebouwd.

Om de grondwaarheid te bepalen, zullen de annotaties van de vier chirurgen worden vergeleken en zullen discrepanties worden geïdentificeerd. Vervolgens zal er een bijeenkomst tussen de chirurgen worden belegd om de discrepanties bij consensus op te lossen, waarbij de vijfde chirurg mogelijk als jurylid zal worden betrokken. Na de resolutievergadering zal er één set annotaties zijn voor de 300 beelden van de groep chirurgen.

De annotaties uit Turijn zullen ook in de studie-DB worden ingevoerd om vergelijkingen met de annotatie van de deskundige chirurgengroep mogelijk te maken.

In geval van onenigheid tussen de annotatie van Turijn en de annotaties van de deskundige chirurgen van de AO, zal naar consensus worden gezocht om een ​​nieuwe grondwaarheid vast te stellen. Als dit proces resulteert in aanzienlijke herzieningen van de annotaties, zal de volledige dataset worden beoordeeld om deze nieuwe standaard te bepalen. Na een dergelijke uitgebreide herziening van de dataset zal het algoritme voor geautomatiseerde fractuurclassificatie van het proximale femur, dat al door de Turijnse groep is ontwikkeld, opnieuw worden getraind. Na hertraining zullen de prestaties van het algoritme worden geëvalueerd aan de hand van meetgegevens zoals precisie, herinnering en F1-score om de nauwkeurigheid en effectiviteit ervan bij het classificeren van proximale femurfracturen te garanderen.