스칼라, 벡터를 행렬로 미분

1. 스칼라를 행렬로 미분

이 경우는 행렬이 입력이고, 출력되는 함수가 스칼라일때 적용 가능하다. $$\textbf{x}=\left [ \begin{matrix}
x_{11} & x_{12} \\
x_{21} & x_{22} \\
\end{matrix} \right ]$$
$$d\textbf{x}=\left [ \begin{matrix}
dx_{11} & dx_{12} \\
dx_{21} & dx_{22} \\
\end{matrix} \right ]$$

여기에서 $f$ 라는 스칼라 함수를 행렬 $\textbf{x}$로 미분하고자 한다. 

 

원하는 미분값을 얻으려면 순간변화율 $\\df$를 $ d\textbf{x}=\left [ \begin{matrix}
dx_{11} & dx_{12} \\
dx_{21} & dx_{22} \\
\end{matrix} \right ]$ 와 $\frac{\partial f}{\partial \textbf{x}^{T}}=\left [ \begin{matrix}
\frac{\partial f}{\partial x_{11}} & \frac{\partial f}{\partial x_{21}} \\
\frac{\partial f}{\partial x_{12}} & \frac{\partial f}{\partial x_{22}} \\
\end{matrix} \right ]$ 로 잘 표현해야 한다. 

$$df=\frac{\partial f}{\partial x_{11}}dx_{11}+\frac{\partial f}{\partial x_{12}}dx_{12}+\frac{\partial f}{\partial x_{21}}dx_{21}+\frac{\partial f}{\partial x_{22}}dx_{22}$$

 

$$d\textbf{x}\frac{\partial \textbf{f}}{\partial \textbf{x}^{T}}=\left [ \begin{matrix}
dx_{11} & dx_{12} \\
dx_{21} & dx_{22} \\
\end{matrix} \right ]\left [ \begin{matrix}
\frac{\partial f}{\partial x_{11}} & \frac{\partial f}{\partial x_{21}} \\
\frac{\partial f}{\partial x_{12}} & \frac{\partial f}{\partial x_{22}} \\
\end{matrix} \right ]=\left [ \begin{matrix}
\frac{\partial f}{\partial x_{11}}dx_{11}+ \frac{\partial f}{\partial x_{12}}dx_{12}&  \\
 & \frac{\partial f}{\partial x_{21}}dx_{21}+ \frac{\partial f}{\partial x_{22}}dx_{22} \\
\end{matrix} \right ] $$

따라서 $d\textbf{f}$는 위에서 도출한 행렬식의 대각성분을 더한 trace로 표현할 수 있다. 

$$\therefore d\textbf{f}=tr(d\textbf{x}\frac{\partial \textbf{f}}{\partial \textbf{x}^{T}})$$

2. 행렬을 행렬로 미분

벡터를 벡터로 미분을 할 줄 알면 행렬을 행렬로도 미분가능하다.

하지만 앞선 증명방식으로는 한계가 있다. 따라서 행렬을 벡터로 바꾼 다음(vectorize), 벡터를 미분하여 구한다.

<vectorize>

행렬을 벡터로 바꾸어주기 위해 행렬을 row vector로 만든다. 

$$\textrm{vec}\left [ \begin{pmatrix}
x_{11} & x_{12} \\
x_{12} & x_{12} \\
\end{pmatrix} \right ]=\left [ \begin{matrix}
x_{11} & x_{12} & x_{21} & x_{22} \\
\end{matrix} \right ]$$

$$\textrm{vec}\left [ \begin{pmatrix}
y_{11} & y_{12} \\
y_{12} & y_{12} \\
\end{pmatrix} \right ]=\left [ \begin{matrix}
y_{11} & y_{12} & y_{21} & y_{22} \\
\end{matrix} \right ]$$

$$d\textrm{vec}\left( \textbf{F}\right) =d\textrm{vec}\left( \textbf{x}\right) \dfrac{\partial \textrm{vec}\left( \textbf{F}\right) }{\partial \textrm{vec}^{T}\left( \textbf{x}\right) }$$

2. 벡터를 행렬로 미분

이 경우에도 행렬을 벡터화시켜 미분을 그대로 적용하는 방법으로 접근 가능하다.

예를 들어 $\textbf{y}=\textbf{x}\textbf{W}$를 $\textbf{W}$로 미분한다면?

위에서 $\textbf{y}=\left [ \begin{matrix}
y_{1} & y_{2} \\
\end{matrix} \right ],\textbf{x}=\left [ \begin{matrix}
x_{1} & x_{2} \\
\end{matrix} \right ],\textbf{W}=\left [ \begin{matrix}
w_{11} & w_{12} \\
w_{21} & w_{22} \\
\end{matrix} \right ]$ 이다. 

행렬 $\textbf{W}$를 vectorize 하면 $\textrm{vec}(\mathbf{w})=\left [ \begin{matrix}
w_{11} & w_{12} & w_{21} & w_{22} \\
\end{matrix} \right ]$ 이다. 

$\mathbf{y}=[\begin{matrix}
y_{1} & y_{2} \\
\end{matrix}]=\left [ \begin{matrix}
x_{1} & x_{2} \\
\end{matrix} \right ]\left [ \begin{matrix}
w_{11} & w_{12} \\
w_{21} & w_{22} \\
\end{matrix} \right ]=\left [ \begin{matrix}
x_{1}w_{11}+x_{2}w_{21} & x_{1}w_{12}+x_{2}w_{22} \\
\end{matrix} \right ]$

따라서 미분 결과는 다음과 같이 얻을 수 있다. 

$$\frac{d\textbf{y}}{d\textbf{W}}=\frac{\partial \textbf{y}}{\partial \textrm{vec}^{\mathbf{T}}(\textbf{w})}=\left [ \begin{matrix}
x_{1} & 0 \\
0 & x_{1} \\
x_{2} & 0 \\
0 & x_{2} \\
\end{matrix} \right ]=\textbf{x}^{T}\bigotimes I_{2} \textrm{(Kronecker product)}$$