1. 프로젝트 소개

• 뼈는 우리 몸의 구조와 기능에 중요한 영향을 미치기 때문에, 정확한 뼈 분할은 의료 진단 및 치료 계획을 개발하는 데 필수적입니다.
• Bone Segmentation은 인공지능 분야에서 중요한 응용 분야 중 하나로, 특히, 딥러닝 기술을 이용한 뼈 Segmentation은 많은 연구가 이루어지고 있으며, 다양한 목적으로 도움을 줄 수 있습니다.
  1. 질병 진단의 목적으로 뼈의 형태나 위치가 변형되거나 부러지거나 골절 등이 있을 경우, 그 부위에서 발생하는 문제를 정확하게 파악하여 적절한 치료를 시행할 수 있습니다.
  2. 수술 계획을 세우는데 도움이 됩니다. 의사들은 뼈 구조를 분석하여 어떤 종류의 수술이 필요한지, 어떤 종류의 재료가 사용될 수 있는지 등을 결정할 수 있습니다.
  3. 의료장비 제작에 필요한 정보를 제공합니다. 예를 들어, 인공 관절이나 치아 임플란트를 제작할 때 뼈 구조를 분석하여 적절한 크기와 모양을 결정할 수 있습니다.
  4. 의료 교육에서도 활용될 수 있습니다. 의사들은 병태 및 부상에 대한 이해를 높이고 수술 계획을 개발하는 데 필요한 기술을 연습할 수 있습니다.

2. EDA

2.1 Dataset 구성

• 이미지 크기 → 2048 x 2048 x 3

• 양손을 촬영했기 때문에 사람 별로 두 장의 이미지가 존재 → 폴더로 구분되어 있음

• 총 1100장의 이미지가 존재

  • Train → 800장
  • Test → 300장

• 클래스 구성

  

  • 크게 3가지 파트로 구성
    • 손가락 / 손등 / 팔
  • 예측해야 하는 클래스는 총 29개
    • 'finger-1', 'finger-2', 'finger-3', 'finger-4', 'finger-5', 'finger-6', 'finger-7', 'finger-8', 'finger-9', 'finger-10', 'finger-11', 'finger-12', 'finger-13', 'finger-14', 'finger-15', 'finger-16', 'finger-17', 'finger-18', 'finger-19', 'Trapezium', 'Trapezoid', 'Capitate', 'Hamate', 'Scaphoid', 'Lunate', 'Triquetrum', 'Pisiform', 'Radius', 'Ulna'

2.2 Meta information

• 이미지 dataset 외에 사람의 Meta 정보도 같이 주어짐
  • 나이 / 성별 / 체중(몸무게) / 키(신장)
  • 왼손 오른손의 면적이 팔 부분 때문에 달라질 수 있으므로 팔 부분을 제외하고 측정(Train dataset)
    • 나이
    • 성별
    • 체중(몸무게)
    • 키(신장)
  • Baseline1로 Dice를 측정했을 때 결과
    • 나이
    • 성별
    • 체중(몸무게)
    • 키(신장)

2.3 Dataset 분석

• 이미지 분석
  • 같은 사람이라도 팔 부분의 차이 때문에 왼손 오른손의 면적이 다를 수 있다.
• Class별 area
  • finger-16, trapezoid, pisiform이 평균적으로 가장 낮은 면적을 가지고 있다
• Ground Truth 분석
  • 같은 좌표들을 가지는 polygon 내에서도 두 가지 이상의 class가 overlap 할 수 있음
• Ground Truth 분석 - outlier, 이상 케이스 → 반지를 제외하고는 큰 문제가 없어 보임
  • 기존 이미지와 다른 케이스에 대한 분석
    • 반지 착용
    • 네일 아트
    • 손목 임플란트?
    • 휘어진 손가락

2.4 Inference 분석

• test set과 validation set에 대해서 prediction을 잘못하는 케이스를 파악

  • validation의 클래스 별 dice score

  • finger-16, Trapezoid, Pisiform이 제일 낮은 dice score를 가지는 3개의 클래스

    → class별 평균 area에서도 가장 낮은 3개의 클래스

  • 반지에 대한 예측

  • 반지와 주변에 대한 예측을 잘못하는 것을 확인

  • finger bone의 경계에 대한 예측

  • 경계 주변을 미세하게 예측을 하지 못하는 것을 확인

2.5 가설 설정

2.5.1 문제점