大腿骨近位部画像データベースの検証

AO@AI トリノ プロジェクトは、トリノのグループとの共同プロジェクトで、2,932 枚の前後 (AP) 骨盤 X 線写真を収集しており、そのうち 1,811 枚は骨折画像、1,121 枚は非骨折画像です。 トリノのグループは、これらの画像を使用して骨折を分類するための人工知能 (AI) アルゴリズムを開発しました。 これらの匿名化された画像 (すべてのメタデータまたは個人識別子が削除されたもの) は、AO Foundation がホストおよび管理するクラウドベースの画像データベース (DB) にアップロードされています。

トリノグループは「専門家による合意」という手法を用いて「真実」を確立した。 医療チームの 2 人の放射線科医が骨折の状態を検討して分類しました (骨折と非骨折、骨折の場合は AO/整形外科外傷協会 [OTA] 分類)。

次のステップの目標は、すでにアップロードされている AP 骨盤画像の骨折分類のトリノ注釈の精度をテストするグラウンド トゥルース検証計画です。 これは、画像 DB が AI 開発を可能にする正確な品質の注釈を提供することを保証するためです。

パイロット フェーズでは、トリノ画像のランダムなサブセット (300 個の画像) が画像 DB から抽出されます。 これらの画像は、AO 専門外科医の外部グループによって検査され、骨折状態 (骨折か非骨折か、骨折の場合は AO/OTA 分類) ごとに画像に注釈が付けられます。

AO 専門外科医のグループは、300 枚の画像を独立して検査する 4 人の外科医と、必要に応じて審査員を務める 5 人目の外科医で構成されています。 熟練した外科医は、クラウドベースの画像 DB を介して 300 枚の画像にアクセスし、画像に注釈を付けることができます。 熟練した外科医はトリノの注釈が分からなくなるでしょう。 熟練した外科医の注釈は、パイロット研究の目的で構築された DB に入力されます。

真実を判断するために、4 人の外科医の注釈が比較され、矛盾が特定されます。 その後、意見の相違を合意により解決するために外科医の間で会議が開催され、5 人目の外科医が裁定者として関与する可能性があります。 解決策会議の後、外科医グループからの 300 枚の画像に対する 1 つの注釈セットが作成されます。

トリノの注釈も研究 DB に入力され、専門外科医グループの注釈との比較が可能になります。

トリノの注釈と AO の専門外科医の注釈の間に不一致がある場合は、新しい地上真実を確立するために合意が求められます。 このプロセスの結果、アノテーションが大幅に改訂される場合は、この新しい標準を設定するためにデータセット全体が検討されます。 このような包括的なデータセットの改訂後、トリノのグループによってすでに開発されている大腿骨近位部の自動骨折分類アルゴリズムが再トレーニングされる予定です。 再トレーニング後、アルゴリズムのパフォーマンスは、大腿骨近位部骨折の分類における精度と有効性を確保するために、精度、再現率、F1 スコアなどの指標を通じて評価されます。