cyclic ordinal regression 학습법

Ordinal Regression is a learning task for predicting a label (or rank) or the object, where the set of labels has a linear order, e.g., the set of integers.

'순환 회귀'는 레이블의 세트가 선형적 순서를 가질때 (예를들면 정수의 집합) 객체의 레이블 또는 랭크를 예측하는 학습 방법이다. 

 

Ordinal Regression는 다음과 같은 방법으로 연구되어 왔다. 

- SVM

- Gaussian processes

- Perceptron learning

 

Frank 와 Hall 은 ordinal binary decomposition 를 제안했다.

: 이진 분류기를 구성하여 객체의 랭크가 k보다 큰지 아닌지 결정

decision tree를 사용하여 이진 출력을 랭크를 추정하는 데 사용했다. 

 

본 논문에서는 방향을 8가지 클래스로 분류하는 task를 위해 Cyclic ordinal regression을 사용했다. 

8가지 방향 클래스 (K classes, K=8, K는 언제나 짝수)

: N (c0), NE(c1), E(c2), SE(c3), S(c4), SW(c5), W(c6), NW(c7)

인접한 방향으로의 오차가 아예 반대 방향으로의 오차보다 훨씬 적기 때문에 loss function 에 이러한 cyclic한 순서를 고려해 주어야 한다. (= COR Scheme)

Binary Classifier

$$ f_{0}(x)=\begin{cases}
1 & \text{ if } y_x \in {c_{1}, c_{2}, c_{3}, c_{4}} \\
0 & \text{ otherwise }
\end{cases}$$

$$ f_{1}(x)=\begin{cases}
1 & \text{ if } y_x \in {c_{2}, c_{3}, c_{4}, c_{5}} \\
0 & \text{ otherwise }
\end{cases}$$

$$ f_{2}(x)=\begin{cases}
1 & \text{ if } y_x \in {c_{3}, c_{4}, c_{5}, c_{6}} \\
0 & \text{ otherwise }
\end{cases}$$

$$ f_{3}(x)=\begin{cases}
1 & \text{ if } y_x \in {c_{4}, c_{5}, c_{6}, c_{7}} \\
0 & \text{ otherwise }
\end{cases}$$

 

레이블의 cycle 이 대칭적이고 주기적이기 때문에 두 부분으로 나누기 위해 (이진 분류) 분류기의 개수는 K/2 개 만큼 필요하다.

즉, 분류기는 $f_{0}, f_{1}, f_{2},\cdots f_{\frac{2}{K}-1}$ 와 같이 존재할 것이다. 

 

분류기를 학습할 때 example $x$의 ground truth label 이 주어지면 $f_{n}$ 이 부여된다. 

$$k^{*}=\underset{k\in C}{\textrm{argmax}}\sum_{n=1}^{K/2}f_{k-n}(x)$$

즉 시그마부분을 최대화시키는 k가 곧 정답과 가까운 클래스를 뜻한다. (maximum likelihood 아이디어와 유사)

 

training 때와 달리 test 때는 f가 0과 1사이의 softmax probability(confidence value)를 생산하도록 하고 이 값을 통해 가장 적합한 k가 선정된다. 

 

예를들어, 총 방향의 개수가 8개인 상황에서 $k^{*}$ 는

 

$$\begin{eqnarray} \sum_{n=1}^{K/2}f_{k-n}(x)&= f_{0}+f_{1}+f_{-1}+f_{-2}\\ &= f_{0}+f_{1}+1-f_{3}+1-f_{2}\\ &=1+1+1+1=4 \end{eqnarray}$$

 

즉, 위식을 최대로 만드려면 $f_{0}, f_{1}$ 의 값이 1이 되어야 하므로 이를 동시에 만족하는 k=2 만이 맞는 class가 되는 것이다.