이진분류에서 Maximum Likelihood Estimation (MLE)

 

[이진 분류문제에서 MLE 를 사용하는 이유]

로지스틱 회귀 모델에서 0과 1사이의 확률 ($q$) 을 예측하여 강아지와 고양이를 분류를 한다고 하자.

예를 들어 모델이 강아지를 예측하도록 하려고 한다면,

로지스틱 회귀 모델의 출력값인 강아지일 확률 $q$ 를 키우는 것이 학습의 목적이다.

반대로 고양이를 예측하려면, 로지스틱 회귀 모델은 고양이일 확률 $1-q$ 를 키우려고 할 것이다.

 

확률값 q는 입력값$\times $가중치에 시그모이드를 거쳐 계산된 값이므로 가중치 w에 대한 함수로도 볼 수 있다.

이때 모델의 가중치 w를 추정하기 위해서 최대우도추정 기법을 사용한다.

즉, q 또는 1-q를 최대로 만드는 가중치 w를 찾고자 하는 것이 MLE 기법이다.

(강아지면 $q$ , 고양이면 $1-q$ 를 최대화)

 

강아지 혹은 고양이 입력 사진 $x_{i}$ 에 대해 모델이 예측한 동물에 대한 해당 확률은 다음과 같이 표현할 수 있다. 

$$P(y|q=f_{w}(x_{i}))=p_{i}^{y_{i}}(1-p_{i})^{1-y_{i}} \\\\\ (y_{i}=0 \ or\ 1)$$

위 식은 i 번째 입력 데이터 $x_{i}$ 에 대한 머신의 출력값이 $f_{w}(x_{i})$로 주어져 있을 때의 정답 $y_{i}$ 의 분포에 대한 식이다. 

로지스틱 회귀의 Y가 이진 분류를 하므로 베르누이 시행을 따른다.

$$P(y|q=f_{w}(x_{i}))$$ 이를 Likelihood로 삼고 이 값을 키우면 모델이 예측한 값의 확률 (either $q$ or $1-q$ ) 을 높일 수 있다. 

 

인공신경망에서 likelihood는
w가 주어졌을 때 y의 확률 분포를 w의 함수로 바라본 함수이다.

 

[직관적인 이해]

위의 Likelihood 식에서 y=0 일때, 1-q 만 남는다.

모델의 예측값 q가 정답 0과 유사할수록 likelihood 값이 1에 가까워진다

반대로 q가 정답 0과 예측이 다른 경우 likelihood가 0에 가까워진다.

 

y=1 일때도 마찬가지다.

실제 정답 레이블이 y=1 일때, likelihood 는 q만 남는다.

q가 정답 1에 가까워질 수록 likelihood 값은 1과 가까워진다.

반대로 q가 정답 0과 예측이 달라지면 likelihood 가 0에 가까워진다.

 

이처럼 이미 정해져있는 예측값과 정답을 유사하게 만들수록 likelihood가 1에 가까워지므로 (커지므로),

Likelihood 를 최대화하는 방향으로 학습을 진행할 수 있다.

 

즉, likelihood는 정답 라벨과 예측된 확률값을 비교함으로써 예측의 정확도를 측정한다고 볼 수 있다.

---

Likelihood를 최대화하는 것은 Likelihood에 마이너스를 붙이고 이를 최소화하는 것과 같다.

이 Negative (log) likelihood 는 이진분류의 loss 함수인 Binary cross entropy가 된다.

먼저 입력 사진 n개에 대한 Likelihood 는 다음과 같다.

$$L=\prod_{i}^{n}p_{i}^{y_{i}}(1-p_{i})^{1-y_{i}}$$

 

예를 들어, 입력 사진이 2개라면 각 시행에 대해 독립이므로 Likelihood를 다음과 같이 나타낼 수 있다.

$$L=p_{1}^{y_{1}}(1-p_{1})^{1-y_{1}}\times p_{2}^{y_{2}}(1-p_{2})^{1-y_{2}}$$

곱 연산을 용이하게 하기 위해 log scaling 을 해주면 Log Likelihood (LL) 가 된다.

이때 log를 취할 수 있는 이유는 독립 변수의 값이 증가할 때 함수의 값도 같이 증가하는 단조증가 (monotonically increasing) 의 특성을 가지기 때문이다.

$$LL=y_{1}\textrm{log}p_{1}+(1-y_{1})\textrm{log}(1-p_{1})+y_{2}\textrm{log}p_{2}+(1-y_{2})\textrm{log}(1-p_{2})$$

 

여기에 마이너스를 붙인 것이 Negative Log likelihood (NLL) 이 된다.

$$NLL=-\left\{y_{1}\textrm{log}p_{1}+(1-y_{1})\textrm{log}(1-p_{1})+y_{2}\textrm{log}p_{2}+(1-y_{2})\textrm{log}(1-p_{2})) \right\}$$

 

이때 예측한 확률은 $p=\sigma (w^{T}x)$로 이므로, NLL 을 가중치 w 에 대한 함수로 나타낼 수 있다.

NLL은 최소화해야 될 함수이므로 이를 Loss function 으로 둘 수 있다.

 

결론적으로 인공 신경망은 학습을 통해 가중치 w 에 대한 MLE 를 수행한다고 볼 수 있다.

i 번째 데이터 $(x_{i},y_{i})$에 대하여 모델은 다음 Likelihood을 최대화하는 가중치를 찾아나간다.

 

---

Cross-Entropy vs. Negative log likelihood

 

discrete 환경에서, 두 확률 분포 p와 q가 주어졌을때, cross-entropy 는 다음과 같이 정의된다.

$\textrm{H(p,q)}=-\sum_{x\in \chi }^{} p(x)\textrm{log}(q(x))$

Cross-Entropy의 p를 정답 분포, q를 모델의 예측 분포라고 가정한다면 Negative-log likelihood 식과 매우 유사하다.

따라서 로지스틱 회귀의 손실함수를 binary cross entropy라고도 한다.

---

BCE vs. MSE

 

BCE 대신 MSE (Mean squared error) 를 이진분류의 손실함수로 사용하면 어떨까?

이진 분류 문제에 앞서 선형회귀에서 사용하던

MSE 를 로지스틱 회귀에 그대로 적용해보는 생각을 해볼 수 있다.

두 가지 손실함수를 로지스틱 회귀에 대입해 보았을 때 2가지 관점에서 BCE 가 더 좋은 점을 찾아볼 수 있다.

 

1) 손실함수의 민감도

강아지/고양이를 분류하는 문제에서, 강아지 사진이면 예측 확률 q를 키운다고 했다. 

이때 MSE 를 사용하면 $(q-1)^{2}$ 를 최소화하면 된다. 

이때 NLL 손실함수는 $-\textrm{log}{q}$ 이다.

실제 레이블이 1 일 때, 모델이 확률값을 0으로 잘못 예측했다면

MSE와 NLL 각각의 손실함수 결과값은 $1$, $\infty $ 이다. 

즉, $-\textrm{log}{q}$ 가 훨씬 더 오류에 민감하게 반응한다. 

따라서 MSE 보다 오류에 더 민감한 NLL을 이진분류에 사용하는 것이 더 적합하다.

 

2) Convexity

어떤 손실함수를 사용하느냐에 따라 손실함수 그래프의 개형이 달라진다.

그래프의 개형이 Convex 한 것이 Non-Convex 한 그래프보다 global minimum 을 찾는 데 더 유리할 것이다.

수식을 간단하게 만들어주기 위해, 신경망의 가중치가 w 하나만 있고 bias는 0이라고 가정하자. 

그러면 sigmoid 를 통과하기 직전에 w에 대한 loss 함수의 개형은 다음과 같다.

• MSE: $(\frac{1}{1+e^{-w}}-1)^{2}$
  
  
• BCE: $-\textrm{log}\frac{1}{1+e^{-w}}$

각각의 그래프 개형을 살펴보자.

MSE의 그래프는 변곡점이 존재하고 Non-convex 하다.

반면, BCE의 그래프는 Convex 하다.

따라서 MSE 보다 BCE 가 global minimum을 찾기에 더욱 적합하다고 볼 수 있다.