Logistic Regression

Logistic Regression

Sigmoid를 이용한 이진분류를 수행하기 위해 Logistic regression의 개념에 대해 알아보자.

Logistic Regression은 선형함수에서 logit을 회귀한 것이다. 

여기서 Logit은, log-odds 로 odds는 성공 확률과 실패 확률의 비율 (승산) 을 말하고, logit은 odds 에 log 값을 취한 것을 말한다. 

$$logit=\mathrm{log}\frac{q}{1-q}$$

 

로지스틱 회귀에서는 우선 모델의 입력 변수와 가중치의 선형조합으로 모델의 출력값을 계산한다.

입력과 특정 레이블에 속할 확률 사이의 관계를 모델링하기 위해 도입하는 함수가 logit 함수다.

그 다음 logit을 Sigmoid 함수에 통과시켜서 q를 얻고 Loss function을 계산할 수 있다. 

 

Logistic Regression

 

선형 회귀에서는 모델의 입력 변수와 가중치를 곱하여 예측값을 구한다. 이 예측값은 위 그림에서 $l$ 로 표현되었고 이 $l$ 을 logit 과 같다고 식을 세운다.

즉, $l=b+x_{1}w_{1}+x_{2}w_{2}+x_{3}w_{3}=\mathrm{log}\frac{q}{1-q}$ 이다. 

여기에서 이길 확률인 $q$ 값을 구하기 위해서 logit 함수의 역함수인 Sigmoid 함수를 사용한다. 

Sigmoid 함수는 다음과 같다.

$$\mathrm{Sigmoid}(x)=\frac{1}{1+e^{-x}}$$

이 Sigmoid 함수에 logit ($l$)값을 대입하면 $q$ 값을 얻어낼 수 있다. 

 

이렇게 얻은 $q$ 를 통해 Binary cross entropy (BCE) Loss 함수를 만든다.

$$L=-\sum_{n}log(q_{n}^{y_{n}}(1-q_{n})^{1-y_{n}})$$

Loss를 weights 에 대해서 편미분하여 Gradient descent를 통해 반대 방향으로 나아가면 끝이다.

이것을 Logistic regression 이라고 한다.