Gradient descent

Gradient descent는 loss function 을 최소로 하는 가중치를 찾는 방법이다. 

예를들어 loss function이 $y=x^{2}$ 라는 2차함수라고 하자. 

이때 손실함수가 최소값을 갖게 하는 점은 x=0 이라는 포인트이다. 0이라는 위치를 찾기 위해서는 어떻게 해야할까?

우선 처음에 임의의 점을 찍어서 그 점을 점점 업데이트해나가면서 최소점으로 회귀해야한다. 

이때, 최소값을 갖는 점으로 다가가기 위해서 기울기를 이용할 수 있다. 왜냐하면 특정 점에서의 기울기는 함수의 가장 가파른 방향을 향하고 이 가장 가파른 방향의 반대방향으로 이동하면 최소값으로 향할 수 있기 때문이다. 

 

처음 위치가 $x=1$ 이라고 하면 이 위치에서의 기울기는 $y^{'}(1)=2$ 이니까 $1-2=-2$ 의 결과를 얻게 된다. 

이때 기울기 값이 너무 커서 최소점인 0을 지나치게 된다. 따라서 방향을 유지한 채 크기만 조절하기 위해 learning rate를 도입한다. learning rate를 0.1로 설정하면 $1-(0.1)(2)=0.8$ 이렇게 너무 크게 이동하지 않으면서 0으로 향하게 할 수 있다. 

 

이러한 방법이 Gradient descent(경사하강법) 이고, 실제 딥러닝에서는 손실함수의 변수가 weight 와 bias 이므로 손실함수는 3차원의 공간에서 그려진다. 이때도 동일한 방법으로 gradient descent 를 적용하여 손실함수의 최소값을 가지는 위치를 알 수 있다. Gradient descent 의 일반적인 과정은 다음과 같다. 

1. 초기 위치 설정 (Weight initialization)

2. Gradient (각 변수에 대한 편미분을 벡터로 표현한 것) 계산

3. Learning rate 설정

4. 위치 업데이트: 새로운 위치는 (현재 위치) - (학습률)$\times$(현재 위치에서의 Gradient) 로 업데이트 할 수 있다. 

5. 반복: 위의 과정을 반복하여 최소점에 점차 수렴한다. 즉, 기울기가 0에 가까워질 때까지 위치를 업뎃한다. 

 

Gradient descent 방법의 단점

1. 전체 데이터를 한 번에 사용하여 그래디언트를 계산하고 가중치를 업데이트하여, 매우 큰 데이터셋의 경우 계산 비용이 높고 시간이 오래걸린다. (Batch gradient descent라고도 부른다.)

** 여기서 모든 데이터를 다 고려한다는 말은 전체 데이터셋에 대한 그래디언트를 한번에 계산하고 가중치를 업데이트 한다는 의미이다. 즉, 전체 데이터셋을 한번에 신경망에 입력하여 가중치를 곱하고 출력을 예측해서 이 출력을 실제값과 비교해서 손실함수를 구한 후 이 손실함수에서 그래디언트를 계산한다는 것이다. 이렇게 되면 데이터가 클 때 시간이 오래걸린다는 단점이 있다. 

2. Local minimum 에 빠질 수 있다. 

Gradient는 손실함수의 가장 가파른 하강 방향을 따라 이동하기 때문에 local minimum 근처에서 기울기가 0에 가까워지게 되면 경사하강법이 그 지점에서 멈추게 된다. 이렇게 되면 global minimum이 아닌 local minimum 에 수렴하게 되어 최적의 가중치를 찾지 못하게 되는 위험이 있다. 이를 해결하기 위해 Stochastic gradient descent 가 해결책이 되기도 한다. 

 

아래 애니메이션은 경사하강법을 사용해 3차원 손실함수의 최소값을 가지는 위치를 찾아내는 visualization이다. 

출처: https://towardsdatascience.com/a-visual-explanation-of-gradient-descent-methods-momentum-adagrad-rmsprop-adam-f898b102325c

Gradient-descent algorithm

Stanford CS229, Andrew Ng