𝄢 𝄢

Frobenius norm 과 Trace Frobenius norm을 trace로 정의하는 문제가 있어서 가져와 봤다. 우선 Frobenius norm 은 다음과 같이 정의된다. $$\left\|A \right\|_{F}=\sqrt{\textrm{Tr}(A^{T}A)}$$ (a) 를 보면 A는 nxn 의 정방행렬임을 가정했다. $$\left\|A \right\|_{F}=\sqrt{\textrm{Tr}(AA^{T})}=\sum_{i}^{n}\begin{bmatrix} A^{T}A\end{bmatrix}_{ii}=\sum_{i}^{n}(\sum_{j}^{n}A_{ij}^{T}A_{ji})=\sum_{i,j}^{n}A_{ij}^{2}$$ 정의에 따라서 식을 전개해보면 frobenius norm 이 모든 원소의..

Principal component analysis (PCA) 주성분 분석(Principal Component Analysis, PCA)은 가장 널리 사용되는 차원 축소 기법 중 하나로, 원 데이터의 분포를 최대한 보존하면서 고차원 공간의 데이터들을 저차원 공간으로 변환한다. 차원축소란 원 데이터의 분포를 가능한 유지하면서 데이터의 차원을 줄이는 것이다. PCA 는 여러 데이터들이 모여 하나의 분포를 이룰 때, 이 분포를 가장 잘 설명할 수 있는 분포의 성분을 분석해주는 방법이다. 여기서 주성분이라 함은 그 방향으로 데이터들의 분산이 가장 큰 방향 벡터를 의미한다. 다음 그림은 2차원 데이터에서 PCA를 수행하는 예를 나타낸다. 위 그림과 같은 타원형의 데이터 분포가 있을 때 데이터들의 분산(흩어진 정도..

determinant 의 특성중에 이런 특성이 있다. 행렬 A가 nxn square matrix, symmetric matrix일 때, $$ \textrm{det}(A)=\lambda _{1}\lambda _{2}\cdots \lambda _{n}$$ 행렬 A의 determinant (행렬식) 은 고유값(eigenvalue) 들의 곱과 같다. 왜 그럴까? 이는 고유값과 고유벡터의 관계에 기인한다. Eigendecomposition 에 의해 정방행렬이자 대칭행렬인 A는 다음과 같이 분해될 수 있다. $$A=QDQ^{-1}$$ 이때 Q는 Orthogonal vector이고, D는 고유값들을 대각성분으로 가진 대각행렬을 나타낸다. Orthogonal matrix의 eigenvalue는 항상 1 또는 -1이다...

아래의 내용은 Dacid C.Lay et al. 의 Linear Algebra and Its Application 에 있는 모든 가역행렬 theorem 을 정리한 것이다. 가역행렬 정리 A를 nxn 정방행렬이라 하면, 아래 각 명제는 모두 A가 가역행렬이라는 명제와 동치이다. a. A는 nxn 단위행렬과 행 동치이다. (**가우스 조던 소거법을 통해 단위행렬로 대각화할 수 있다는 것) b. A는 n개의 추축위치를 갖는다. (**n개의 pivot 원소를 가진다, Full-rank 행렬, 모든 행과 열이 선형 독립) c. 방정식 $A\textbf{x}=\textbf{0}$ 의 해는 자명한 해뿐이다. (**유일한 해가 제로 벡터로 자명하다) d. 선형변환 $\textbf{x}\mapsto A\textbf{x}..

1. 스칼라를 행렬로 미분 이 경우는 행렬이 입력이고, 출력되는 함수가 스칼라일때 적용 가능하다. $$\textbf{x}=\left [ \begin{matrix} x_{11} & x_{12} \\ x_{21} & x_{22} \\ \end{matrix} \right ]$$ $$d\textbf{x}=\left [ \begin{matrix} dx_{11} & dx_{12} \\ dx_{21} & dx_{22} \\ \end{matrix} \right ]$$ 여기에서 $f$ 라는 스칼라 함수를 행렬 $\textbf{x}$로 미분하고자 한다. 원하는 미분값을 얻으려면 순간변화율 $\\df$를 $ d\textbf{x}=\left [ \begin{matrix} dx_{11} & dx_{12} \\ dx_{21} &..

1. 편도함수 일변수 함수 $f: ℝ \rightarrow ℝ$ 의 도함수 $f' (x) $ 은 다음과 같이 정의한다. $ f' (x)= \displaystyle \lim_{h \to 0}\frac{f(x+h)-f(x)}{h} $ 일변수 함수 $f $ 의 도함수 $f' $ 은 점 $x$에서 '$x$ 가 변할 때 함수 $f $의 순간변화율' 이다. 다변수 함수 $f$ 의 도함수는 각 $x_{i} (i=1, \ldots , n)$ 에 대한 순간변화율로 정의된다. 이와 같이 각 $x_{i} (i=1, \ldots , n)$ 에 대한 $f $ 의 순간변화율을 $f $ 의 $x_{i}$ 에 대한 편도함수 (partial derivative)라고 한다. 2. 함수의 기울기 (1) Gradient 어떤 함수 $f$ ..