𝄢 𝄢

Gradient descent는 loss function 을 최소로 하는 가중치를 찾는 방법이다. 예를들어 loss function이 $y=x^{2}$ 라는 2차함수라고 하자. 이때 손실함수가 최소값을 갖게 하는 점은 x=0 이라는 포인트이다. 0이라는 위치를 찾기 위해서는 어떻게 해야할까? 우선 처음에 임의의 점을 찍어서 그 점을 점점 업데이트해나가면서 최소점으로 회귀해야한다. 이때, 최소값을 갖는 점으로 다가가기 위해서 기울기를 이용할 수 있다. 왜냐하면 특정 점에서의 기울기는 함수의 가장 가파른 방향을 향하고 이 가장 가파른 방향의 반대방향으로 이동하면 최소값으로 향할 수 있기 때문이다. 처음 위치가 $x=1$ 이라고 하면 이 위치에서의 기울기는 $y^{'}(1)=2$ 이니까 $1-2=-2$ 의 결..

1. 스칼라를 행렬로 미분 이 경우는 행렬이 입력이고, 출력되는 함수가 스칼라일때 적용 가능하다. $$\textbf{x}=\left [ \begin{matrix} x_{11} & x_{12} \\ x_{21} & x_{22} \\ \end{matrix} \right ]$$ $$d\textbf{x}=\left [ \begin{matrix} dx_{11} & dx_{12} \\ dx_{21} & dx_{22} \\ \end{matrix} \right ]$$ 여기에서 $f$ 라는 스칼라 함수를 행렬 $\textbf{x}$로 미분하고자 한다. 원하는 미분값을 얻으려면 순간변화율 $\\df$를 $ d\textbf{x}=\left [ \begin{matrix} dx_{11} & dx_{12} \\ dx_{21} &..

1. 편도함수 일변수 함수 $f: ℝ \rightarrow ℝ$ 의 도함수 $f' (x) $ 은 다음과 같이 정의한다. $ f' (x)= \displaystyle \lim_{h \to 0}\frac{f(x+h)-f(x)}{h} $ 일변수 함수 $f $ 의 도함수 $f' $ 은 점 $x$에서 '$x$ 가 변할 때 함수 $f $의 순간변화율' 이다. 다변수 함수 $f$ 의 도함수는 각 $x_{i} (i=1, \ldots , n)$ 에 대한 순간변화율로 정의된다. 이와 같이 각 $x_{i} (i=1, \ldots , n)$ 에 대한 $f $ 의 순간변화율을 $f $ 의 $x_{i}$ 에 대한 편도함수 (partial derivative)라고 한다. 2. 함수의 기울기 (1) Gradient 어떤 함수 $f$ ..