𝄢 𝄢

1) Boolean 인덱싱 torch에서 boolean 인덱싱을 활용하면 나중에 transformer 마스킹 등을 할 때 매우 유용하게 쓰일 수 있다고 한다. boolean을 사용하면 True 인 성분만을 가져와서 새로운 행렬을 만들 수도 있다. A[B,:]: B의 각 요소에 대응하는 위치에 있는 A의 행을 선택하여 새로운 텐서를 생성한다. B에서 True 에 해당하는 위치에 있는 A의 행들을 선택해서 새로운 텐서를 만든다. A=torch.tensor([[1,2],[3,4],[5,6],[7,8]]) print(A[ torch.tensor([[False,True],[False,False],[False,False],[False,False]]) ]) print(A[A==2]) print(A[ [True,Fal..

1) 1차원 행렬에 대한 인덱싱과 슬라이싱 기본적으로 torch의 인덱싱과 슬라이싱은 리스트와 동일하게 진행된다. 우선 a[ ] 로 a 옆에 대괄호를 열었다는 것은 a라는 변수에 대해서 인덱싱을 할 것임을 뜻한다. 텐서가 1부터 9까지의 연속적인 1x9 행렬이라고 할 때, 첫 번째부터 순서대로 인덱싱은 0에서 마지막번째 8 이전까지로 인덱스가 지정된다. (파이썬에서 슬라이싱을 할 때, 시작 인덱스는 포함되고 끝 인덱스는 포함되지 않는 범위로 지정된다.) 따라서 인덱스 7은 8번째 숫자이고, 인덱스 7까지 슬라이싱을 하면 8번째 숫자 전까지가 출력된다. 2) 2차원 행렬에 대한 인덱싱과 슬라이싱 A는 3x3 행렬 하나로 이루어진 2차원 텐서 (ndim=2) A([0][2]): 0번째 행의 2번째 요소 A(..

Pytorch는 기본적으로 Numpy 모듈과 사용법이 매우 닮아있다. Numpy 의 함수에 대응되는 pytorch 의 함수들이 꽤 있는데 예를 들면 np.array 는 torch.tensor 와 같다. 하지만 큰 차이점은, 리스트를 생성하는 numpy 와 달리 torch는 행렬을 생성하기 때문에 각 행에 해당하는 숫자의 개수가 같아야 한다. 위에서 torch는 2행 3열 크기의 행렬을 만들었다. 이때 torch를 사용해서 numpy처럼 torch.tensor([1,2],[3,4,5]) 와 같이 쓴다면 첫 번째 열에 2개의 요소밖에 없어서 두 번째 열과 행 개수가 다르기 때문에 오류가 난다. A.shape: 행렬(텐서)의 크기 A.ndim: 텐서의 차원의 수 (바깥의 대괄호 개수) A.size(): 행렬(..

Super Resolution 저해상도 (Low Resolution, LR) 영상으로부터 고해상도 (High Resolution, HR) 영상을 생성하는 기술이다. 저해상도 이미지는 해상도가 낮아 세부 정보가 흐릿하거나 손실되는 경향이 있는데, 이러한 저해상도 이미지를 고해상도 이미지로 변환하거나 복원하여 더 선명하고 세부적인 정보를 포함하는 이미지를 생성함 SR 은 크게 하나의 이미지를 이용하는지, 여러 이미지를 이용하는지에 따라 Single Image Super Resolution (SISR), Multi Image Super Resolution (MISR) 로 나뉘는데, 주로 SISR에 대한 연구가 주를 이룬다. Super resolution 기술은 주로 다음과 같은 방법으로 구현될 수 있다. 1...

* * * RGB 3개 채널을 가진 입력 컬러 사진이 있을 때, 입력의 크기를 3x7x7 이라고 하자. (3은 채널 개수) 이때 필터 (커널) 의 크기가 3x5x5 이면 필터 종류 2가지를 통과했을 때 output feature map 이 나오는 과정은 아래 그림과 같다. 커널을 통해 입력 이미지를 쭉 스캔하면서 패턴을 나타내는 feature map 을 출력한다. (커널 속의 값은 weight와 bias 이고 학습 파라미터이다.) 이때 커널의 (채널)개수는 항상 스캔하는 입력 이미지의 채널 개수를 똑같이 따라가야 하므로 고정이다. 출력되는 feature map의 spatial한 크기는 커널이 이동하는 칸수인 stride 에 따라 달라지므로, 커널 사이즈와 stride 에 의존한다. 만약 stride가 (..

활성화 함수 ReLU 는 Sigmoid 함수의 미분값이 작아서 gradient 값이 점차 소멸하는 vanishing gradient 문제를 해결하기 위해 sigmoid 를 대체한 함수이다. 하지만 ReLU 를 사용해도 항상 vanishing gradient가 해결되는 것은 아니다. 이는 데이터의 분산과 관련이 있다. Batch-size를 5라고 하고 특정 노드에 입력 데이터가 들어간다고 했을때, Activation Function으로 비선형 함수인 ReLU 함수를 사용한다고 하자. 데이터가 전부 양수로 들어간다면? Linear activation 처럼 보여서 non-linearlity를 못살리는 문제가 있다. (vanishing gradient는 해결한다고 해도) 데이터가 전부 음수로 들어간다면? 미분값..

[이진 분류문제에서 MLE 를 사용하는 이유] 로지스틱 회귀 모델에서 0과 1사이의 확률 ($q$) 을 예측하여 강아지와 고양이를 분류를 한다고 하자. 예를 들어 모델이 강아지를 예측하도록 하려고 한다면, 로지스틱 회귀 모델의 출력값인 강아지일 확률 $q$ 를 키우는 것이 학습의 목적이다. 반대로 고양이를 예측하려면, 로지스틱 회귀 모델은 고양이일 확률 $1-q$ 를 키우려고 할 것이다. 확률값 q는 입력값$\times $가중치에 시그모이드를 거쳐 계산된 값이므로 가중치 w에 대한 함수로도 볼 수 있다. 이때 모델의 가중치 w를 추정하기 위해서 최대우도추정 기법을 사용한다. 즉, q 또는 1-q를 최대로 만드는 가중치 w를 찾고자 하는 것이 MLE 기법이다. (강아지면 $q$ , 고양이면 $1-q$ 를 ..

Logistic Regression Sigmoid를 이용한 이진분류를 수행하기 위해 Logistic regression의 개념에 대해 알아보자. Logistic Regression은 선형함수에서 logit을 회귀한 것이다. 여기서 Logit은, log-odds 로 odds는 성공 확률과 실패 확률의 비율 (승산) 을 말하고, logit은 odds 에 log 값을 취한 것을 말한다. $$logit=\mathrm{log}\frac{q}{1-q}$$ 로지스틱 회귀에서는 우선 모델의 입력 변수와 가중치의 선형조합으로 모델의 출력값을 계산한다. 입력과 특정 레이블에 속할 확률 사이의 관계를 모델링하기 위해 도입하는 함수가 logit 함수다. 그 다음 logit을 Sigmoid 함수에 통과시켜서 q를 얻고 Los..