𝄢 𝄢

1) Boolean 인덱싱 torch에서 boolean 인덱싱을 활용하면 나중에 transformer 마스킹 등을 할 때 매우 유용하게 쓰일 수 있다고 한다. boolean을 사용하면 True 인 성분만을 가져와서 새로운 행렬을 만들 수도 있다. A[B,:]: B의 각 요소에 대응하는 위치에 있는 A의 행을 선택하여 새로운 텐서를 생성한다. B에서 True 에 해당하는 위치에 있는 A의 행들을 선택해서 새로운 텐서를 만든다. A=torch.tensor([[1,2],[3,4],[5,6],[7,8]]) print(A[ torch.tensor([[False,True],[False,False],[False,False],[False,False]]) ]) print(A[A==2]) print(A[ [True,Fal..

1) 1차원 행렬에 대한 인덱싱과 슬라이싱 기본적으로 torch의 인덱싱과 슬라이싱은 리스트와 동일하게 진행된다. 우선 a[ ] 로 a 옆에 대괄호를 열었다는 것은 a라는 변수에 대해서 인덱싱을 할 것임을 뜻한다. 텐서가 1부터 9까지의 연속적인 1x9 행렬이라고 할 때, 첫 번째부터 순서대로 인덱싱은 0에서 마지막번째 8 이전까지로 인덱스가 지정된다. (파이썬에서 슬라이싱을 할 때, 시작 인덱스는 포함되고 끝 인덱스는 포함되지 않는 범위로 지정된다.) 따라서 인덱스 7은 8번째 숫자이고, 인덱스 7까지 슬라이싱을 하면 8번째 숫자 전까지가 출력된다. 2) 2차원 행렬에 대한 인덱싱과 슬라이싱 A는 3x3 행렬 하나로 이루어진 2차원 텐서 (ndim=2) A([0][2]): 0번째 행의 2번째 요소 A(..

Pytorch는 기본적으로 Numpy 모듈과 사용법이 매우 닮아있다. Numpy 의 함수에 대응되는 pytorch 의 함수들이 꽤 있는데 예를 들면 np.array 는 torch.tensor 와 같다. 하지만 큰 차이점은, 리스트를 생성하는 numpy 와 달리 torch는 행렬을 생성하기 때문에 각 행에 해당하는 숫자의 개수가 같아야 한다. 위에서 torch는 2행 3열 크기의 행렬을 만들었다. 이때 torch를 사용해서 numpy처럼 torch.tensor([1,2],[3,4,5]) 와 같이 쓴다면 첫 번째 열에 2개의 요소밖에 없어서 두 번째 열과 행 개수가 다르기 때문에 오류가 난다. A.shape: 행렬(텐서)의 크기 A.ndim: 텐서의 차원의 수 (바깥의 대괄호 개수) A.size(): 행렬(..

이번 포스팅은 machine learning 의 대표적인 알고리즘과 소스를 동작 시켜 보기 위한 기본적인 개발 환경을 구성하는 단계를 다룬다.Mac OS (Apple M2 Pro) 를 기준으로 Anaconda terminal을 사용하여 진행했다. 1. 아나콘다 설치먼저 아나콘다 공식 홈페이지 (https://www.anaconda.com/) 에서 Mac (M2) 용 아나콘다를 설치한다. 2. 환경 변수 설정터미널에서 'conda' 입력 시 "zsh: command not found: conda" 라는 메세지가 출력되었다. 이 오류를 해결하는 방법은 우선 본인의 맥에서 anaconda3이 설치된 경로를 찾아주는 것이다.  Finder를 열어서 검색창에 anaconda3를 검색한다. anaconda3 폴더를..

Super Resolution 저해상도 (Low Resolution, LR) 영상으로부터 고해상도 (High Resolution, HR) 영상을 생성하는 기술이다. 저해상도 이미지는 해상도가 낮아 세부 정보가 흐릿하거나 손실되는 경향이 있는데, 이러한 저해상도 이미지를 고해상도 이미지로 변환하거나 복원하여 더 선명하고 세부적인 정보를 포함하는 이미지를 생성함 SR 은 크게 하나의 이미지를 이용하는지, 여러 이미지를 이용하는지에 따라 Single Image Super Resolution (SISR), Multi Image Super Resolution (MISR) 로 나뉘는데, 주로 SISR에 대한 연구가 주를 이룬다. Super resolution 기술은 주로 다음과 같은 방법으로 구현될 수 있다. 1...

KL Divergence 쿨백-라이블러 발산은 두 확률분포의 차이를 계산하는 데에 사용하는 함수로, 어떤 이상적인 확률 분포에 대해, 그 분포를 근사하는 다른 분포를 사용해 샘플링을 한다면 발생할 수 있는 정보 엔트로피의 차이를 계산한다. KL divergence는 $D_{\textrm{KL}}(P\parallel Q)$ 로 표현되고, 이는 서로 다른 확률 분포 P와 Q의 statiscal distance를 나타낸다. KL divergence 가 0인 것은 서로 다른 분포 P와 Q가 완전히 같은 분포일 때만 성립한다. 머신러닝의 Supervised learning 에 상황을 대입하면 Q가 model의 prediction 값이고 P가 label의 분포일 때 분포의 차이를 측정하기 위해서 KL diverge..

Principal component analysis (PCA) 주성분 분석(Principal Component Analysis, PCA)은 가장 널리 사용되는 차원 축소 기법 중 하나로, 원 데이터의 분포를 최대한 보존하면서 고차원 공간의 데이터들을 저차원 공간으로 변환한다. 차원축소란 원 데이터의 분포를 가능한 유지하면서 데이터의 차원을 줄이는 것이다. PCA 는 여러 데이터들이 모여 하나의 분포를 이룰 때, 이 분포를 가장 잘 설명할 수 있는 분포의 성분을 분석해주는 방법이다. 여기서 주성분이라 함은 그 방향으로 데이터들의 분산이 가장 큰 방향 벡터를 의미한다. 다음 그림은 2차원 데이터에서 PCA를 수행하는 예를 나타낸다. 위 그림과 같은 타원형의 데이터 분포가 있을 때 데이터들의 분산(흩어진 정도..

determinant 의 특성중에 이런 특성이 있다. 행렬 A가 nxn square matrix, symmetric matrix일 때, $$ \textrm{det}(A)=\lambda _{1}\lambda _{2}\cdots \lambda _{n}$$ 행렬 A의 determinant (행렬식) 은 고유값(eigenvalue) 들의 곱과 같다. 왜 그럴까? 이는 고유값과 고유벡터의 관계에 기인한다. Eigendecomposition 에 의해 정방행렬이자 대칭행렬인 A는 다음과 같이 분해될 수 있다. $$A=QDQ^{-1}$$ 이때 Q는 Orthogonal vector이고, D는 고유값들을 대각성분으로 가진 대각행렬을 나타낸다. Orthogonal matrix의 eigenvalue는 항상 1 또는 -1이다...