근위 대퇴골 이미지 데이터베이스 검증

AO@AI Turin 프로젝트는 2,932장의 전후(AP) 골반 방사선 사진을 수집한 Turin 그룹과의 공동 프로젝트로, 그 중 1,811장은 골절 이미지이고 1,121장은 비골절 이미지입니다. Turin 그룹은 이러한 이미지를 사용하여 골절 분류를 위한 인공 지능(AI) 알고리즘을 개발했습니다. 이러한 익명화된 이미지(모든 메타데이터 또는 개인 식별자가 제거됨)는 AO 재단이 호스팅하고 관리하는 클라우드 기반 이미지 데이터베이스(DB)에 업로드되었습니다.

토리노 그룹은 "전문가의 합의" 방법을 사용하여 "실측 진실"을 확립했습니다. 의료진의 두 명의 방사선 전문의가 골절 상태(골절 대 비골절, 골절인 경우 AO/정형외과 외상 협회(OTA) 분류)를 검토하고 분류했습니다.

다음 단계의 목표는 이미 업로드된 AP 골반 이미지의 골절 분류에 대한 Turin 주석의 정확성을 테스트하기 위한 Ground Truth 검증 계획입니다. 이는 AI 개발이 가능하도록 이미지 DB가 정확한 품질 주석을 제공하도록 하기 위한 것입니다.

파일럿 단계에서는 Turin 이미지의 무작위 하위 집합(이미지 300개)이 이미지 DB에서 추출됩니다. 이러한 이미지는 골절 상태, 즉 골절 대 비골절, 골절인 경우 AO/OTA 분류에 따라 이미지에 주석을 추가할 외부 AO 전문 외과의 그룹에 의해 검토됩니다.

AO 전문 외과의사 그룹은 300장의 이미지를 독립적으로 검토하는 4명의 외과의사와 필요한 경우 심사관 역할을 하는 5번째 외과의사로 구성됩니다. 전문 외과의사는 클라우드 기반 이미지 DB를 통해 300개의 이미지에 접근하고 이미지에 주석을 달게 됩니다. 전문 외과 의사들은 토리노 주석을 보지 못할 것입니다. 전문 외과의사의 주석은 파일럿 연구 목적으로 구축된 DB에 입력됩니다.

실제 사실을 확인하기 위해 4명의 외과 의사의 주석을 비교하고 불일치를 식별합니다. 그런 다음 합의에 의해 불일치를 해결하기 위해 외과 의사들 사이에서 회의가 마련되며, 다섯 번째 외과 의사가 심판관으로 참여할 가능성이 있습니다. 결의안 회의가 끝나면 운동 외과 의사 그룹의 300개 이미지에 대한 단일 주석 세트가 제공됩니다.

전문 외과의사 그룹의 주석과 비교할 수 있도록 Turin 주석도 연구 DB에 입력됩니다.

Turin 주석과 AO 전문 외과 의사 주석 사이에 불일치가 있는 경우, 새로운 근거 진실을 확립하기 위해 합의가 모색될 것입니다. 이 프로세스로 인해 주석이 크게 수정되면 전체 데이터세트를 검토하여 이 새로운 표준을 설정하게 됩니다. 이러한 포괄적인 데이터 세트 수정에 따라 Turin 그룹에서 이미 개발한 근위 대퇴골의 자동 골절 분류 알고리즘이 재교육될 예정입니다. 재훈련 후에는 근위 대퇴골 골절 분류의 정확성과 효율성을 보장하기 위해 정밀도, 재현율, F1 점수 등의 지표를 통해 알고리즘 성능을 평가합니다.