Ověření databáze snímků proximálního femuru

Projekt AO@AI Turin je společný projekt s turínskou skupinou, která shromáždila 2 932 anteroposteriorních (AP) rentgenových snímků pánve, z nichž 1 811 jsou snímky zlomenin a 1 121 snímky bez zlomenin. Turínská skupina vyvinula algoritmus umělé inteligence (AI) pro klasifikaci zlomenin pomocí těchto snímků. Tyto anonymizované obrázky (s odstraněnými všemi metadaty nebo osobními identifikátory) byly nahrány do cloudové databáze obrázků (DB), kterou hostuje a spravuje AO Foundation.

Turínská skupina stanovila „základní pravdu“ pomocí metod „konsensu odborníků“. Dva radiologové z jejich lékařského týmu přezkoumali a klasifikovali stav zlomeniny (zlomenina vs. nezlomenina, a pokud zlomenina, klasifikace AO/Orthopedic Trauma Association [OTA]).

Cílem dalšího kroku je plán validace základní pravdy pro testování přesnosti Turínské anotace klasifikace zlomenin již nahraných snímků AP pánve. Tím je zajištěno, že databáze obrázků nabízí přesné kvalitní anotace, které umožňují vývoj AI.

Pro pilotní fázi bude náhodná podmnožina turínských snímků (300 snímků) nakreslena z databáze snímků. Tyto snímky budou přezkoumány externí skupinou AO odborných chirurgů, kteří snímky označí podle stavu zlomeniny, tj. zlomenina vs. nezlomenina, a v případě zlomeniny podle klasifikace AO/OTA.

Skupina odborných chirurgů AO se skládá ze čtyř chirurgů, kteří nezávisle zkontrolují 300 snímků, a pátého chirurga, který v případě potřeby slouží jako porotce. Odborní chirurgové získají přístup k 300 snímkům prostřednictvím cloudové databáze snímků a snímky budou komentovat. Odborní chirurgové budou zaslepeni k turínským anotacím. Anotace odborných chirurgů budou vloženy do DB vytvořené pro účely pilotní studie.

K určení základní pravdy budou porovnány anotace čtyř chirurgů a budou identifikovány nesrovnalosti. Poté bude uspořádána schůzka mezi chirurgy, aby se na základě konsensu vyřešily nesrovnalosti, s potenciálním zapojením pátého chirurga jako porotce. Po rezoluční schůzce bude k dispozici jediná sada anotací pro 300 snímků ze skupiny výkonných chirurgů.

Turínské anotace budou také vloženy do databáze studie, aby bylo možné porovnat s anotací odborné skupiny chirurgů.

V případě neshody mezi turínskou anotací a anotací AO experta chirurga bude usilováno o konsenzus pro stanovení nové základní pravdy. Pokud tento proces povede k významným revizím anotací, bude celá datová sada přezkoumána, aby se nastavil tento nový standard. Po takto komplexní revizi datového souboru bude přeškolen algoritmus pro automatizovanou klasifikaci zlomenin proximálního femuru, který již byl vyvinut Turinskou skupinou. Po přeškolení bude výkon algoritmu vyhodnocen pomocí metrik, jako je přesnost, vyvolání a skóre F1, aby byla zajištěna jeho přesnost a účinnost při klasifikaci zlomenin proximálního femuru.