인공지능(AI) 시스템이 흉부 X선 보고에 미치는 영향을 평가하기 위한 연구

Hull University Teaching Hospitals NHS Trust(HUTH)에서 데이터를 수집하는 단일 센터 전향적 연구.

GP 흉부 X-레이는 트러스트의 두 주요 병원 부지뿐만 아니라 지역 사회의 위성 장치에서도 실시됩니다. 모두 동일한 RIS(Radiology Information System)를 사용하며 흉부 X선은 HUTH PACS(Picture Archiving and Communication System)에 자동으로 저장됩니다.

Hull Royal Infirmary의 응급실에 있는 방사선과에서는 응급 환자뿐만 아니라 병원 내 입원 환자를 위해 흉부 X-레이를 촬영합니다.

모든 흉부 X-레이는 RIS에 예약되어 정상적으로 수행되고 PACS 시스템으로 전송됩니다. 위의 세트에서 16세 이상의 환자에게 수행된 모든 흉부 엑스레이는 자동으로 AI 서버로 전송되고 AI 보고서가 처리되면 원본 필름과 동일한 PACS 폴더로 자동 전송됩니다.

흉부 X-ray 보고 및 AI 정보 검토는 영상의학과 내에서 모든 직급의 직원이 수행하는 일반 보고 세션에서 이루어집니다.

방사선과는 현재 일부 일반 필름 보고를 아웃소싱하지만 연구 기간 동안 위의 검사 중 어느 것도 아웃소싱하지 않으며 모든 보고는 HUTH 방사선 팀 구성원이 수행합니다.

흉부 X-레이 보고는 다양한 방사선과 직원이 수행합니다.

• 컨설턴트 방사선 전문의
• FRCR 이전 훈련 중인 등록 방사선과 전문의 - FRCR 이후 Royal College of Radiology 시험 연구원
• 보고 방사선사 방사선과는 현재 46명의 컨설턴트, 26명의 전문 레지스트라 및 8명의 보고 방사선사로 구성된 직원이 있습니다. 모든 컨설턴트나 방사선 촬영 기사가 흉부 X-레이 보고를 수행하는 것은 아닙니다.

이 연구에는 모든 기자 그룹이 참여하고 조사관은 각 그룹의 응답과 전반적인 성과를 평가합니다. 참가자는 그룹별로 식별되지만 개별적으로는 식별되지 않습니다.

이 연구는 세 단계로 나뉩니다.

1단계:

이는 AI 시스템을 HUTH PACS에 통합한 직후에 발생합니다. 기자가 소프트웨어 사용 경험을 쌓는 한 달의 기간이 있습니다.

이 시간 동안 두 개의 로컬 데이터베이스가 소프트웨어와 함께 검토됩니다.

• 일부 폐 결절이 해당 CT 스캔과 함께 존재하는 100개의 흉부 X-선 사례의 훈련 세트.
• 일반의(GP)가 요청한 이전에 보고된 흉부 X-레이 세트는 긴급 CT를 위해 보고자가 의뢰했습니다.

이들의 결과는 소수의 기자단에 의해 검토될 것입니다. 이러한 리뷰의 이유는 두 가지입니다.

• 2단계에 대한 지침을 알려줄 수 있는 소프트웨어 개요를 제공합니다.
• 전향적 연구를 시작하기 전에 이전에 문서화된 보고자 성과와 AI 성과를 비교할 수 있습니다.

2단계:

이것은 6개월 동안 지속되며 GP 의뢰로부터 또는 급성 병원의 응급실(ED)에서 수행된 16세 이상의 환자에 대한 모든 흉부 X-레이로 구성되며, 여기에는 사고 및 응급 출석 및 입원 환자 연구가 포함됩니다. 이들은 평가를 위해 AI 서버로 전송되며 반환 데이터는 원본 이미지와 함께 PACS 폴더에서 사용할 수 있습니다. 이는 영화를 보고할 수 있기 전에 발생합니다.

이 단계에는 대략 균등하게 분할하여 약 20,000건의 검사가 포함될 것으로 추정됩니다. 2019년: GP 23,287회 시험 및 ED 22,042회 시험.

이러한 연구가 종종 폐암에 대한 우려를 제기하는 첫 번째 검사이기 때문에 GP 필름이 선택되었으며, 세 번째 단계에는 의심되는 폐 결절/암 보고를 위한 AI 생성 작업 목록 구현과 이 그룹에 대한 당일 CT에 대한 영향 평가가 포함됩니다.

ED 필름은 소프트웨어에 의해 감지된 10가지 결과를 평가하기 위한 최고의 데이터 세트라고 생각했으며 3단계에서 AI 생성 작업 목록을 도입하면 비정상적인 연구를 더 빠르게 보고할 수 있습니다.

기자들은 원본 흉부 엑스레이를 검토하고 보고서를 작성할 것입니다. 그런 다음 AI 데이터를 검토하고 이것이 보고서에 어떤 영향을 미칠지 결정한 다음 기록됩니다.[2] AI는 각 흉부 X-레이에서 10가지 다른 이상을 찾고 이상을 감지하면 히트 맵과 백분율 신뢰도 점수를 생성합니다. 단일 검사에서 AI 결과가 없거나 여러 AI 결과가 있을 수 있습니다.

기자는 보도 당시 보고된 각 영화에 대한 AI 평가를 입력합니다.

• 흉부 방사선 사진 및/또는 AI 출력에 있는 각 소견에 대해 독자는 다음을 기록합니다.

  • AI가 찾지 못했지만 리포터가 감지
  • AI가 올바르게 감지한 결과
  • 기자가 찾지 못했지만 AI가 감지
  • AI가 감지했지만 기자가 이의를 제기한 결과

• AI가 미치는 영향

  • 방사선 보고서

    • 도움이 되는
    • 도움이 되지 않는다
    • 중립적

  • 추가 권장 이미징

    • 중요한
    • 중요하지 않음

  • 환자 관리 변경

    • 중요한
    • 중요하지 않음

조사관은 또한 AI가 이상 보고 또는 연구를 정상으로 보고하는 데 있어 자신감을 증가시켰는지 여부를 평가할 것입니다.

기자가 AI에 동의하지 않는 모든 영화는 즉시 PACS 작업 목록에 배치되고 고위 기자/기자들이 검토하고 합의에 동의합니다. 결과는 데이터베이스에 입력됩니다.

환자에게 후속 흉부 X-레이 또는 CT 촬영이 권장되는 경우 이는 기록됩니다. 이러한 후속 검사는 수행된 모든 흉부 X-레이에 대한 소프트웨어 분석을 반복하여 소수의 기자 그룹에 의해 검토됩니다.

AI 소프트웨어는 현재 이미지만 검토하고 보고자는 이상 여부를 결정하는 데 중요할 수 있는 이전 검사에 액세스할 수 있으며 이는 그 효과를 평가하기 위해 기록됩니다.

보고자는 보고 그룹, 추천 유형, 시험 접근 번호 필드가 있는 공유 부서 드라이브에 대한 링크를 통해 PACS 보고 워크스테이션에서 Excel 스프레드시트를 사용할 수 있습니다. 불일치 또는 검토가 있는 경우 개별 시험을 검토할 수 있습니다. 이후 검사, 이전 필름의 존재, 각 AI 이상에 대한 별도의 필드 및 후속 흉부 X-선 또는 CT를 위한 필드. 보고 시점에 완료됩니다.

보고 세션이 끝나면 스프레드시트는 중앙 트러스트 서버에 업로드되고 부서별 폴더에 보관되며 거기에서 별도로 저장된 중앙 데이터베이스에 통합됩니다. 방사선과의 구성원만 부서별 폴더에 액세스할 수 있으며 중앙 데이터베이스는 데이터 관리자와 연구 관리 팀이 액세스할 수 있도록 별도로 보관됩니다. 마스터 데이터베이스에 업로드되면 개별 데이터는 방사선과 폴더에서 삭제됩니다. 보고 세션이 완료되고 파일이 전송된 후에는 PACS 워크스테이션에 데이터가 저장되지 않습니다.

데이터는 HUTH 내에서 독점적으로 저장되고 처리됩니다. 마스터 데이터베이스의 사본이 생성되어 액세스 번호를 익명의 식별자로 대체합니다. 이 데이터베이스는 분석에 사용됩니다.

3단계:

이것은 3개월 동안 지속되며 AI 제작 작업 목록의 개발로 구성됩니다.

악성 종양을 나타낼 수 있는 이상을 강조하는 GP 작업 목록은 긴급 보고 및 필요한 경우 당일 CT를 허용합니다. 흉부 X-ray에서 CT까지의 시간 지연 변화를 현재 시스템에서 x-ray의 방사선 기사 분류와 AI 분류를 비교합니다.

ED 작업 목록은 AI 양성 연구를 위해 생성되며 이에 대한 보고 시간은 흉부 X-레이 필터링이 없는 현재 시스템과 비교됩니다.

모든 AI 음성 연구는 보고됩니다. 보고 시간 평가는 평가에 환자 식별 데이터가 포함되지 않은 RIS 및 PACS 시스템 내의 일상적인 데이터에서 이루어집니다.

데이터는 PACS를 통해 수집되며 데이터는 전용 서버에서 로컬로 처리됩니다.