Introduction

기존 long-tail 문제를 해결하는 방법

1. Post-hoc normalization of the classification weights (NISER가 이 경우에 해당)
   1. 이 방법의 문제점: Weight normalization crucially relies on the weight norms being smaller for rare classes
2. Modification of the underlying loss to account for varying class penalties
   1. 이 방법의 문제점: Loss modification sacrifices the consistency that underpins the canonical softmax cross-entropy

Problem Setup and Related Work

기존의 Softmax Cross-entropy는 Long-tail 인 데이터의 classifcation에는 부적절

• Balanced error

  • 각 class 마다 error 값을 평균 낸 것
  • 이 값이 실제로 줄도록 실험을 시도

  

저자들이 제안하는 방법

1. Logit-adjusted threshold

   • Procedure: Post-hoc logit translation

     

     여기서 $\pi_y$ 은 class prior 를 말한다.

   • 기존에 구한 logit 값 $f_y(x)$ 와 class prior를 모두 고려하게 학습

2. Logit-adjusted loss

   • Procedure: Softmax with logit translation

     

   • 기존 softmax cross-entropy 방법과 달리 balanced error을 최적화 하기 위해서 $P^{bal}(y|x)\propto P(y|x)/P(y)$ 을 바로 모델에 적용한다.

   • 위 식에서 $\pi_y'/\pi_y$ 은 Desired gap or "margin" between scores for y and y' 을 말한다.

   • 위 식은 Rare Positive y와 Dominant Negative y' 사이의 margin을 크게 만드는 역할을 한다.

   • 기존 softmax cross-entropy식과 다른 점

     • Label-dependent offset을 각 logit에 적용한 것
     • Logit을 학습 하는 과정에서, class prior를 강요해서 학습하도록 하는 것

   • Variation

     Pairwise Margin Loss

     

     • $\alpha_y$ 는 label weight, $\Delta yy'$는 pairwise label margin으로 y와 y' score의 desired gap을 나타낸다.
     • $\Delta yy' = log(\pi_y'/\pi_y)$
     • 이렇게 함으로써, demands a larger margin between rare positive $(\pi_y$~ 0 ) and dominant negative ( $\pi_y'$~ 1 ) labels, so that scores for dominant classes do not overwhelm those for rare ones.

   Experimental Results