Mask R-CNN

• Mask R-CNN, Kaiming He, 2018
• 바운딩박스와 이미지 예측뿐만아니라 픽셀마다 해당 물체에 속하는지 마스킹까지 해주는 방식 (Instance Segmentation)
• 기본구조 Faster-RCNN까지 같고, 이에 마스킹 레이어까지 추가
  • 출력이 두개(분류, 바운딩박스) 에서 K*m*m mask 출력 추가
  • 세 프로세스는 병렬로 이루어짐
• 각각의 Proposal의 픽셀에 대해 하나하나 마스킹 이진 분류
  • 기존의 방법은 픽셀당 멀티클래스 분류
• Faster-RCNN에서 RoIPool로 뭉개진 원본 픽셀 정보를 RoIAlign으로 원본에서의 위치를 유추
  • RoIPooling시 원본 이미지와 stride를 통한 RoI가 정확히 나눠지지 않아 소수점을 버리는데(quantization) 이를 개선하기 위한 보간법 이용.
• Loss Function은 L(cls) + L(box) + L(mask)로 이루어짐
  • 마스크의 경우 해당 분류의 마스크만 이진 크로스 엔트로피로 계산
• ResnetXt101-FPN(Feature Pyramid Network) 방식의 백본이 정확도가 가장 높음
• 속도는 5FPS(Frame per second)으로 실시간 검출 가능
• 사람 포즈 검출도 중요 키포인트에 마스킹을 하는것으로 구조 이용 가능.