𝄢 𝄢

Backpropagation 심층 신경망에서는 1. 특정 파라미터(weight/bias) 에 대한 Loss function의 편미분 값인 그래디언트를 구하고, 2. SGD (Stochastic gradient descent) 등의 Optimizer 로 최적의 파라미터를 업데이트한다. 1번에서 신경망의 깊은 곳에 있는 weight 에 대한 편미분을 구하기 위해서는 Chain rule 을 활용해야 하는데, Chain rule은 미분을 뒤로 전달하면서 곱하는 거니까 이 방법을 Backpropagation이라고 한다. 다음과 같은 신경망에서 Backpropagation을 통해 행렬로 표현된 weight 에 대해 loss function 을 미분해보자. 그림의 각 노드에 대해 다음과 같이 식을 쓸 수 있다. $$..

Momentum Momentum 기법은 gradient를 누적함으로써 관성을 가지게 하는 방법이다. 특정 방향으로 가려는 힘이 남아있어서 다른 방향으로 갈때도 조금 덜 가게 된다. 다른 말로, 이전 것들을 기억하는 관성이 남아있기 때문에 가중치 업데이트의 방향성을 어느정도 유지하여 (mini-batch) SGD보다 변동성을 줄이고, 손실 함수의 local minimum 에서 빠져나오기 쉬워진다. 이 방식으로 인해 가중치 업데이트를 좀 더 빠르고 안정적으로 수렴시킬 수 있다. 현재의 속도는 과거의 속도들에 영향을 받는데, 현재 iteration 에 최근의 속도값들이 더 큰 영향을 준다. RMSProp (Root mean squrare propagation) RMSProp은 Momentum 과 거의 유사한데..

Vanilla GD vs. SGD Gradient descent는 모든 데이터를 다 고려했기 때문에 최소를 향하는 완벽한 방향으로 나아간다. 하지만, 모든 데이터를 다 고려하기 때문에 시간이 너무 느리다. Stochastic gradient descent (SGD)는 GD와 달리 전체 데이터를 모두 입력하지 않고 랜덤하게 추출한 데이터를 하나씩 입력해서 loss function를 만드는 방법이다. SGD를 사용하면 GD에서 발생하는 계산 속도 문제와 local minimum에 빠지는 한계를 극복할 수 있다. SGD의 특징 1. 랜덤하게 데이터를 비복원추출로 하나씩 뽑아서 loss를 만들고 gradient를 계산한다. (랜덤이라 stochastic이라는 이름이 붙었다.) 즉, 데이터 하나만 보고 그래디언트..

Gradient descent는 loss function 을 최소로 하는 가중치를 찾는 방법이다. 예를들어 loss function이 $y=x^{2}$ 라는 2차함수라고 하자. 이때 손실함수가 최소값을 갖게 하는 점은 x=0 이라는 포인트이다. 0이라는 위치를 찾기 위해서는 어떻게 해야할까? 우선 처음에 임의의 점을 찍어서 그 점을 점점 업데이트해나가면서 최소점으로 회귀해야한다. 이때, 최소값을 갖는 점으로 다가가기 위해서 기울기를 이용할 수 있다. 왜냐하면 특정 점에서의 기울기는 함수의 가장 가파른 방향을 향하고 이 가장 가파른 방향의 반대방향으로 이동하면 최소값으로 향할 수 있기 때문이다. 처음 위치가 $x=1$ 이라고 하면 이 위치에서의 기울기는 $y^{'}(1)=2$ 이니까 $1-2=-2$ 의 결..