Frobenius norm

Frobenius norm 과 Trace

Frobenius norm을 trace로 정의하는 문제가 있어서 가져와 봤다.

 

우선 Frobenius norm 은 다음과 같이 정의된다. 
$$\left\|A \right\|_{F}=\sqrt{\textrm{Tr}(A^{T}A)}$$

 

(a) 를 보면 A는 nxn 의 정방행렬임을 가정했다.
$$\left\|A \right\|_{F}=\sqrt{\textrm{Tr}(AA^{T})}=\sum_{i}^{n}\begin{bmatrix}
A^{T}A\end{bmatrix}_{ii}=\sum_{i}^{n}(\sum_{j}^{n}A_{ij}^{T}A_{ji})=\sum_{i,j}^{n}A_{ij}^{2}$$
정의에 따라서 식을 전개해보면 frobenius norm 이 모든 원소의 제곱합의 제곱근 (Euclidean norm) 으로 정의됨을 알 수 있다. 
 
(b) 에서는 $U$ 와 $V$ 가 Orthogonal matrix라고 가정했다.
$$\left\|UA \right\|_{F}=\textrm{Tr}(UA)^{T}(UA)=\textrm{Tr}(A^{T}U^{T}UA)=\textrm{Tr}(A^{T}A)$$
$$\left\|AV \right\|_{F}=\textrm{Tr}(AV)^{T}(AV)=\textrm{Tr}(AV)(AV)^{T}=\textrm{Tr}(AVV^{T}A^{T})=\textrm{Tr}(A^{T}A)$$
** Trace 의 성질에 따라 
Tr(AB)=Tr(BA) 가 성립하고,
** Orthogonal matrix 의 성질에 따라
$U^{-1}=U^{T}$ 가 성립한다.
 
(c) 에서는 A가 r 개의 singular value를 가진다고 했으므로 Rank 가 r 임을 나타낸다. 
singular value는 내림차순으로 나열되므로 가장 큰 값은 $\sigma _{1}$ 일 것이다. 
singular value는 SVD를 함으로써 얻을 수 있으므로, $A=U\sum V^{T}$ 이고, 
(b) 에서 증명한 내용에 따라 
$$\left\| A\right\|_{F}=\left\|U\sum V^{T} \right\|_{F}=\left\|\sum \right\|_{F}=\sqrt{\sigma _{1}^{2}+\cdots +\sigma _{n}^{2}}$$
행렬 A의 Frobenius norm은 singular value 들의 l2-norm 과 같은 것을 알 수 있다. 
또한 singular value 중 가장 큰것은 가장 첫 번째 값임을 알고 있다. 
$$\sigma _{\textrm{max}}(A)=\sigma _{1}$$
$$\sqrt{\sigma _{1}^{2}+\sigma _{2}^{2}+\cdots+\sigma _{r}^{2} }\leq \sqrt{\sigma _{1}^{2}+\sigma _{1}^{2}+\cdots +\sigma _{1}^{2}}=\sqrt{r\sigma _{1}^{2}}=\sqrt{r}\sigma _{1}$$