[Segmentation] RMI loss 논문 리뷰
# 논문 링크입니다.
https://arxiv.org/abs/1910.12037
Region Mutual Information Loss for Semantic Segmentation
Semantic segmentation is a fundamental problem in computer vision. It is considered as a pixel-wise classification problem in practice, and most segmentation models use a pixel-wise loss as their optimization riterion. However, the pixel-wise loss ignores
arxiv.org
2019년 발행
0. Title
Region Mutual Information Loss for Semantic Segmentation
-> Semantic Segmentation에서 사용하는 loss function인가보다..
영역끼리 상호작용하는 정보를 사용하나?
1. Abstract
Semantic segmentation은 컴퓨터 비전에서 근본적인 문제이다.
대부분의 Semantic segmentation 모델은 최적화 기준으로 픽셀단위의 loss를 사용한다.
하지만, 픽셀 단위의 loss는 이미지 안에서 픽셀 간의 의존관계를 무시한다.
픽셀들간의 관계를 활용한 여러 가지 방법이 연구되고 있다. (CRF나 pixel affinity based methods)
그러나 이런 방법들은 추가적인 모델 브랜치와 메모리, inference time를 필요로 한다.
이 논문에서 우리는 RMI loss를 개발하여 픽셀 간의 의존관계를 더 간단하고 효율적으로 계산하기 위한 방법을 제안한다.
픽셀 단위의 loss와는 다르게, RMI는 하나의 픽셀을 표현할 때 다른 픽셀들도 이 픽셀을 표현하기 위해 사용한다.
그리고 이미지에서 각각의 픽셀을 위해 픽셀 간의 관계 정보를 담은 다차원 포인트를 인코딩한다.
그 이미지는 이 고차원 포인트의 다차원 분포에 캐스팅된다.
따라서 예측값과 실제값은 mutual information을 극대화함으로써 고차 일관성을 달성할 수 있다.
게다가, MI의 실제값이 계산하기 어려움으로, MI의 하한을 계산하고 MI의 실제값을 최대화하기 위해 하한을 최대화한다.
따라서 RMI는 학습 과정에서 적은 추가적인 연산량을 요구한다 그리고 테스트 과정에서 오버헤드가 없다.
경험적 결과는 RMI가 충분하고 일관된 성과를 낼 수 있다는 것을 보여준다.
2. Methodology
# RMI loss의 기본 아이디어
이미지 영역과 이와 대응되는 다차원 포인트이다.
이러한 전략을 이용하면 이미지가 다차원 분포에 캐스트될 수 있여 픽셀간의 관계를 인코딩할 수 있다.
이렇게 예측값과 실제값의 두가지 다차원 분포를 가진 후에,
우리의 목표는 그 둘 간의 공통점을 최대화하는 것이다.
-> MI의 Lower-bound를 최대화함으로써 달성
# mutual information(MI)의 Lower-bound로 구함
계산의 효율을 위해 MI의 Lower-bound를 이용한다.
# mutual information I(Y ; P) 구하는 방법
# 더 알아볼 것
- Cross-Entropy Loss
- Focal Loss
- Ohem Cross Entropy