다변수 함수의 미분

1. 편도함수

일변수 함수 $f:  ℝ  \rightarrow ℝ$ 의 도함수 $f' (x) $ 은 다음과 같이 정의한다.

 

$ f' (x)= \displaystyle \lim_{h \to 0}\frac{f(x+h)-f(x)}{h} $

 

일변수 함수 $f $ 의 도함수 $f' $ 은 점 $x$에서 '$x$ 가 변할 때 함수 $f $의 순간변화율' 이다. 

 

다변수 함수 $f$ 의 도함수는 각 $x_{i}  (i=1,   \ldots , n)$ 에 대한 순간변화율로 정의된다.

이와 같이 각 $x_{i}  (i=1,   \ldots , n)$ 에 대한 $f $ 의 순간변화율을 $f $ 의 $x_{i}$ 에 대한 편도함수 (partial derivative)라고 한다. 

 

2. 함수의 기울기

(1) Gradient

어떤 함수 $f$ 가 $x_{1}, x_{2}, x_{3} $ 변수로 구성되어 있다면 함수 $f$ 는 다변수 함수이고 Gradient는 다음과 같이 표현된다. 

 

$ \bigtriangledown f=(\frac{\partial f}{\partial x_{1}},\frac{\partial f}{\partial x_{2}},\frac{\partial f}{\partial x_{3}})$

 

즉, 그래디언트는 함수를 각 변수로 편미분한 벡터이다. 

그러므로 이 벡터는 함수 $f$ 의 증/감 하는 방향을 의미하고 벡터의 크기는 증/감의 크기(기울기)를 나타낸다. 

 

(2) Jacobian matrix

야코비안은 어떤 다변수 벡터함수에 대한 일차 미분으로 볼 수 있다. 야코비안 $J$ 는 다음과 같이 정의할 수 있는 $m\times n$ 행렬이다. 

 

$$\textbf{J}=\bigtriangledown_{x}\textbf{f}=\frac{d\textbf{f}}{d\textbf{x}}\begin{pmatrix} \frac{\partial f_{1}}{\partial x_{1}} & \cdots & \frac{\partial f_{1}}{\partial x_{n}} \\ \vdots & \ddots & \vdots \\ \frac{\partial f_{m}}{\partial x_{1}}& \cdots & \frac{\partial f_{m}}{\partial x_{n}} \\ \end{pmatrix}$$ $$\textbf{f} =\begin{pmatrix} f_{1}(x)\\ \vdots\\ f_{m}(x)\\ \end{pmatrix}, \textbf{x}=\begin{pmatrix} x_{1} \\ \vdots \\ x_{n} \\ \end{pmatrix}$$

 

(3) Hessian matrix

 

어떤 다변수 함수 f가 있을 때, f의 Hessian 행렬은 다음과 같이 정의된다.

$$H(f)=\left [ \begin{matrix}
\frac{\partial ^{2}f}{\partial x_{1}^{2}} & \frac{\partial ^{2}f}{\partial x_{1}\partial x_{2}} & \cdots  & \frac{\partial ^{2}f}{\partial x_{1}x_{n}}\\
\frac{\partial ^{2}f}{\partial x_{2}x_{1}} & \frac{\partial ^{2}f}{\partial x_{2}^{2}} & \cdots  & \frac{\partial ^{2}f}{\partial x_{2}x_{n}}\\
\vdots  & \vdots  & \ddots  & \vdots \\
\frac{\partial ^{2}f}{\partial x_{n}x_{1}} & \frac{\partial ^{2}f}{\partial x_{n}x_{2}} & \cdots  & \frac{\partial ^{2}f}{\partial x_{n}^{2}}\\
\end{matrix} \right ]$$

앞서 설명한 gradient(그레디언트), Jacobian(야코비언)이 모두 함수에 대한 일차미분(first derivative)를 나타내는 반면 Hessian은 함수의 이차미분(second derivative)를 나타낸다는 점에서 차이가 있다.

즉, Hessian은 함수의 곡률 (curvature) 특성을 나타내는 행렬로서 최적화 문제에 적용할 경우 Hessian을 이용하면 다음 식과 같이 p 근처에서 함수를 2차 항까지 근사시킬 수 있다. (Second-order Taylor expansion)

$$f(x)\simeq f(p)+\bigtriangledown f(p)(x-p)+\frac{1}{2}(x-p)^{T}H(x)(x-p)$$

또한 Hessian은 critical point의 종류를 판별하는 데 활용될 수 있다. 어떤 함수의 일차 미분이 0이 되는 점을 critical point (또는 stationary point) 라 부르는데 함수의 극점(극대, 극소), saddle point등이 해당된다.

 

어떤 다변수함수를 최적화시키기 위해 극점을 찾기 위해서는 먼저 그 함수의 일차 미분인 gradient 가 0이 되는 지점 (critical point)을 찾는다. 그런데, 이렇게 찾은 critical point (임계점) 가 극대점인지 극소점인지, 아니면 saddle point (말안장처럼 방향에 따라서 극대, 극소가 바뀌는 점)인지 구분하기 위해서는 이차 미분값을 조사해야 하는데 이때 바로 Hessian을 사용할 수 있다. 

그 구체적인 방법은, 어떤 함수의 critical point에서 계산한 Hessian 행렬의

1)모든 고유값이 양수이면 해당 지점에서 함수는 극소,

2) 모든 고유값이 음수이면 극대,

3) 음의 고유값과 양의 고유값을 가지면 saddle point인 것으로 판단한다. 

 

이러한 구분의 핵심에는 Hessian 행렬의 고유벡터는 함수의 곡률이 큰 방향벡터를 나타내는 고유값은 해당 고유벡터 방향으로의 함수의 곡률(curvature, 이차미분값)을 나타낸다는 점에 있다. 

***Curvature은 곡선이나 표면의 곡률을 측정한다.

곡선의 경우: 특정 점에서 곡선이 얼마나 회전하는지

표면의 경우: 특정 점에서 표면이 얼마나 구부러지는지

 

Hessian 행렬은 대칭행렬이므로 항상 고유값 분해가 가능하며 서로 수직인 (orthogonal인) n개의 고유벡터를 가진다.

(단, Hessian이 대칭행렬이 되기 위해서는 편미분의 순서가 바뀌어도 그 결과가 동일해야 하므로 f가 해당 지점에는 2차 미분이 가능하고 또한 연속이어야 한다.)

 

예제 1>>

$f(x,y)=x^{2}+xy+y^{2}+3x-3y+4$

이 다변수 함수에 critical point (임계점) 가 존재하는지, 존재한다면 극소점인지 극대점인지 아니면 안장점인지 판정하라.

임계점을 갖는지를 확인하기 위해 일차미분값을 구해보면 다음과 같이 된다.

$\frac{\partial f}{\partial x}=2x+y+3$

$\frac{\partial f}{\partial y}=x+2y-3$

이 두 식이 0이 되게 하는 x, y 가 임계점이 되므로 연립일차방정식을 풀면 임계점을 찾을 수 있다.

연립방정식의 해는 x=-3, y=3 이므로 점 (-3,3) 이 임계점이다. 임계점이 존재하므로 Hessian matrix를 구해보자.

$\frac{\partial ^{2}f}{\partial x^{2}}=2$

$\frac{\partial ^{2}f}{\partial x\partial y}=1$

$\frac{\partial ^{2}f}{\partial y^{2}}=2$

이므로 Hessian matrix는 다음과 같다.

$$H(f)=\left [ \begin{matrix}
2 &  1\\
1 &  2\\
\end{matrix} \right ]$$

이 행렬의 고유값은 $\lambda =1,3$ 이다.

Hessian matrix의 고유값이 모두 양수이므로 임계점 (-3,3) 은 극소점이다.

 

(출처: https://darkpgmr.tistory.com/132)

 

3. 스칼라 함수를 벡터 (변수)로 미분

$ \frac{df}{d\textbf{x}}$ 는 다변수함수 $f$를 벡터 $x_{1}, x_{2}$ 로 미분한 것이다. 

이를 구하려면 순간변화량 $df$ 을 생각해보면 된다. 이를 전개해보면 다음과 같은 결과를 얻을 수 있다. 

$$\begin {align*} df &=\displaystyle \lim_{\Delta x_{1} \to 0,\Delta x_{2} \to 0}f(x_{1}+\Delta x_{1},x_{2}+\Delta x_{2})-f(x_{1},x_{2}) \\ &= \frac{\partial f}{\partial x_{1}}dx_{1}+\frac{\partial f}{\partial x_{2}}dx_{2}\\&=\left [ dx_{1} \ dx_{2} \right]\begin{bmatrix}
\frac{\partial f}{\partial x_{1}} \\
\frac{\partial f}{\partial x_{2}}
\end{bmatrix} \\&=d\textbf{x}\frac{\partial f}{\partial {\textbf{x}}^{T}}\end{align*}​ $$
$$\therefore \frac{df}{d\textbf{x}}=\frac{\partial f}{\partial \textbf{x}^{T}}$$

4. 벡터 함수를 벡터 (변수)로 미분

$$d\textbf{f}=\left [ df_{1} \ df_{2}\right ]=\left [ dx_{1} \ dx_{2}\right ]\left [ \begin{matrix}
\frac{\partial f_{1} }{\partial x_{1}} & \frac{\partial f_{2}}{\partial x_{2}} \\
 \frac{\partial f_{1}}{\partial x_{1}}&  \frac{\partial f_{2} }{\partial x_{2}}\\
\end{matrix} \right ]=d\textbf{x}\frac{\partial \textbf{f}}{\partial \textbf{x}^{T}}$$
$$ \therefore \frac{d\textbf{f}}{d\textbf{x}} =\frac{\partial \textbf{f}}{\partial \textbf{x}^{T}}$$

 

5. 벡터를 벡터로 미분 - 연쇄법칙(Chain rule)

벡터를 벡터로 미분할 때는 연쇄법칙이 뒷쪽 함수부터 앞쪽 함수로 진행되는 것이 아니라, 앞쪽에서부터 뒤로 진행된다. 

이것이 무슨 의미인지 예를 들어 살펴보자.

$\textbf{y}=\textbf{x}\textbf{A}, \textbf{z}=\textbf{y}\textbf{B}$ 일 때 $ \textbf{z} $를 $ \textbf{x} $ 로 미분하려면

$\textbf{z}$라는 합성함수를 $\textbf{x}\to \textbf{y}\to \textbf{z}$ 로 이어질 때 뒷쪽 함수인 $\textbf{z}$ 부터 $\textbf{x}$ 로 향하는 순서로 미분하고 곱하는 것으로 연쇄 법칙을 적용하면 된다. 

$\textbf{z}=\textbf{yB}=\textbf{xAB}$ 에서 $\frac{\partial \textbf{z}}{\partial \textbf{x}^{T}}=\textbf{AB}$ 를 아는 상태에서 연쇄법칙을 통해 끌어내 보자.

앞서, (4) 를 통해 $d\textbf{y}=d\textbf{x}\frac{\partial \textbf{y}}{\partial \textbf{x}^{T}}$ 임을 알게 됐다.

즉, $d\textbf{z}=d\textbf{y}\frac{\partial \textbf{z}}{\partial \textbf{y}^{T}}$ 임을 알 수 있고, 자연스럽게 $d\textbf{z}=d\textbf{x}\frac{\partial \textbf{y}}{\partial \textbf{x}^{T}}\frac{\partial \textbf{z}}{\partial \textbf{y}^{T}}$ 가 됨을 알 수 있다. 

구하고 보니, 벡터를 벡터로 미분할 때는 연쇄법칙이 뒤에서 앞으로가 아니고 앞에서부터 순서대로 미분하고 곱하는 것으로 적용된다는 것을 알 수 있다. 이는 Backpropagation 에서 벡터를 벡터(행렬을 vectorize한 것)로 미분할 때의 Chain rule에서 사용될 수 있다.