Principal component analysis

Principal component analysis (PCA)

주성분 분석(Principal Component Analysis, PCA)은 가장 널리 사용되는 차원 축소 기법 중 하나로, 원 데이터의 분포를 최대한 보존하면서 고차원 공간의 데이터들을 저차원 공간으로 변환한다.

차원축소란 원 데이터의 분포를 가능한 유지하면서 데이터의 차원을 줄이는 것이다.

 

PCA 는 여러 데이터들이 모여 하나의 분포를 이룰 때, 이 분포를 가장 잘 설명할 수 있는 분포의 성분을 분석해주는 방법이다. 

여기서 주성분이라 함은 그 방향으로 데이터들의 분산이 가장 큰 방향 벡터를 의미한다. 

다음 그림은 2차원 데이터에서 PCA를 수행하는 예를 나타낸다.

https://bradleyboehmke.github.io/HOML/pca.html

위 그림과 같은 타원형의 데이터 분포가 있을 때 데이터들의 분산(흩어진 정도)이 가장 큰 방향 벡터를 First principal component 라고 한다. 그리고 이 벡터에 수직이면서 그 다음으로 데이터들의 분산이 가장 큰 방향은 Second principal component 라고 한다. 

 

PCA의 계산

2차원 좌표평면에 놓인 데이터 1000개에 대해 PCA를 수행한다고 하자. 이때 첫 번째 주성분 벡터로 정사영 내린 데이터의 좌표 구하는 과정은 다음과 같다. 

1. 데이터 평균 계산
   $$\bar{d}=\frac{1}{N}\sum_{i}^{100}d_{i}$$
2. 데이터에서 평균을 뺀 좌표 구하기
   $$d_{i}=\tilde{d_{i}}-\bar{d_{i}}$$
3. Covariance matrix 구하기
   $$R_{d}=\frac{1}{N}DD^{T}$$
4. Covariance matrix의 고유값, 고유벡터 계산
   
   $\textrm{det}(R_{d}-\lambda I)=0$를 만족하는 $\lambda$ (고유값) 중 가장 큰 값 선택
   $\textrm{Null}(R_{d}-\lambda_{1} I)$ 의 기저를 구한다. ($v_{1}$ 라고 하자.)
   
   
5. 고유벡터 정규화
   $$q_{1}=\frac{v_{1}}{\sqrt{v_{1}^{T}v_{1}}}$$
6. 데이터 좌표값에서 정규화된 고유벡터로 정사영 내리기
   $$d_{i}^{T}q_{1}q_{1}$$
7. 다시 평균 더해주기
   $$d_{i}^{PCA}=d_{i}^{T}q_{1}q_{1}+\bar{d_{i}}$$
   
   *$\tilde{d_{i}}$: 데이터의 좌표값들
   *$D=\left [ \begin{matrix}
   d_{1}, & d_{2}, & \cdots  & ,d_{n} \\
   \end{matrix} \right ]$
   
   
   
   
   
   

---

출처:

• http://matrix.skku.ac.kr/math4ai-intro/W12/
• https://ko.wikipedia.org/wiki/%EC%A3%BC%EC%84%B1%EB%B6%84_%EB%B6%84%EC%84%9D
• https://darkpgmr.tistory.com/110

주성분 분석 - 위키백과, 우리 모두의 백과사전

주성분 분석