𝄢 𝄢

torch.log_softmax 함수는 softmax 함수에 log를 취한 것과 같다. softmax와 Log 두 연산을 따로 수행하는 것보다 log_softmax를 통해 한번에 수행하는 것이 더 빠르고 수치적으로 안정적이라고 한다. 위 코드를 보면 랜덤으로 생성한 3x5 텐서 x에 softmax를 취하고 log를 취한 결과나, log_softmax를 취한 결과나 동일하다는 것을 알 수 있다. 정리하면 log_softmax는 다중분류 문제에서 logit에 softmax 취한 다음 0과 1사이의 확률로 변환하는 함수이다.

분산 학습(Distributed training)은 학습 워크로드를 여러 작업자 노드에 분산시켜 훈련 속도와 모델 정확도를 크게 향상시키는 모델 학습 패러다임이다. PyTorch에서 분산 학습을 수행할 수 있는 몇 가지 방법이 있으며 각 방법은 사용 용도별로 장점을 가진다. DistributedDataParallel (DDP) Fully Shared Data Parallel (FSDP) Remote Procedure Call (RPC) distributed traininng Custom Extensions 비분산 학습은 단일 GPU에서 모델을 학습시킨다. 학습 과정은 다음과 같다. 1. DataLoader로부터 입력 배치를 받는다. 2. Forward pass를 통해 loss 계산 3. Backward ..

[cumprod: cumulative product 함수] torch.cumprod 함수는 PyTorch 에서 제공하는 함수로, 텐서의 누적 곱을 요소별로(element-wise) 계산해준다. 사용법은 다음과 같다. import torch tensor = torch.tensor([1, 2, 3, 4]) cumprod_result = torch.cumprod(tensor, dim=0) print(cumprod_result) tensor([ 1, 2, 6, 24]) 예를 들어, 'torch.tensor([1,2,3,4])' 텐서에 대해 torch.cumprod 함수를 dim=0 (첫번째 차원)으로 적용하면, 이 함수는 각 요소의 누적곱을 계산하여 [1,2,6,24] 를 반환한다. 1 1x2=2 1x2x3=6..

torch.cat 과 torch.stack 은 서로 다른 텐서 결합 방법이다. 1) torch.cat (Concatenate) torch.cat 은 서로 다른 행렬이었던 두 텐서를 하나의 텐서로 만들어준다. 따라서 차원의 변화가 생기지 않는다. 예를 들어 두 개의 2x3 짜리 행렬을 cat 해주면 쌓아주는 방향에 따라 4x3 행렬이나 2x6 행렬이 된다. import torch # 2x3 행렬 하나 a = torch.tensor([[1,2,3],[4,5,6]]) # 2x3 행렬 하나 b = torch.tensor([[7,8,9],[10,11,12]]) # 행방향 쌓기 c = torch.cat([a,b], dim=0) # 열방향 쌓기 d = torch.cat([a,b], dim=1) print(c) pri..

﹡ 이미지 다중분류 문제에서 CNN을 사용하면 convolution layer 와 ReLU, Batchnorm2d, MaxPool2d를 반복하다가 마지막에는 fully connected layer를 통과해서 softmax를 얻어 분류를 해주어야 한다. 예를 들어 CIFAR10 데이터셋으로 10가지를 분류하는 네트워크를 만든다고 하자. 통상적인 네트웍에서는 CNN 레이어를 통과해서 다양한 특징맵을 뽑아내고 풀링을 해서 사이즈를 반으로 줄인다. (Maxpooling을 한다고 해서 채널수가 줄지는 않는다. 채널별로 각각 풀링해주는 거니까) 충분히 특징맵을 얻었다면 nn.Linear( )를 활용해서 최종적인 출력 노드를 10개로 줄여줘야 할 것이다. 이때 nn.Linear(?, 10)의 ? 부분에 어떤것을 써야..

일반적으로 이미지 데이터는 너비, 높이, 채널 순서로 표현되는 RGB 포맷을 사용한다.예를 들어, 32x32 크기의 컬러 이미지의 경우 (32,32,3) 으로 표현되며, 각 차원은 각각 (행, 열, 채널) 을 나타낸다. 이미지를 (행,열,채) 형식으로 읽고 처리하는 라이브러리는 다음과 같다.NumpyOpenCVMatplotlib (이미지 처리는 아니지만 데이터 시각화 할 때) 이를 확인해보기 위해 numpy 로 랜덤한 정수를 생성하여 3채널 (RGB) 이미지를 생성하는 코드를 작성해 보았다. 생성한 이미지 데이터의 shape을 확인하면 (행,열,채널) 순서로 출력되는 것을 확인할 수 있다. import numpy as npimport matplotlib.pyplot as plt# 가상의 이미지 데이터 생..

DataLoader DataLoader 는 데이터셋을 미니 배치 단위로 분할하여 학습프로세스에 제공해주는 역할을 한다. 데이터로더 (DataLoader) 객체는 학습에 사용될 데이터 전체를 보관했다가 모델 학습을 할 때 배치 크기만큼 데이터를 꺼내서 사용한다. 이때 주의할 것은 데이터를 미리 잘라 놓는 것이 아니라 내부적으로 반복자 (iterator)에 포함된 인덱스 (index)를 이용하여 배치 크기만큼 데이터를 반환한다는 것이다. DataLoader 사용 예시 아래의 코드는 각각 5개의 샘플을 가진 데이터 (data; example data) 와 레이블 (labels) 텐서로 dataset을 만든 후에 dataloader를 만들어서 배치 크기만큼 데이터를 비복원추출하여 프린트하는 간단한 코드이다. 이..

Fully connected layer nn.Linear(입력노드 개수, 출력노드 개수) 위의 문서를 보면, nn.Linear() 에서 입력 벡터 $x$ 와 가중치 벡터 $w$ 를 곱해줄 때, 가중치 $w$에 transpose를 취해줘서 곱해준다. 그 이유는 무엇일까? mlp 에서 노드는 채널을 의미한다. nn.Linear 는 입력으로 1D data가 들어오길 기대하는데, 데이터를 여러 개 통과시킬 때 특정 채널 수를 가진 데이터 n개를 (개수n $\times$ 채널) 형태로 통과시켜야 한다. weight 또한 (개수x채널) 형태로 표현해주자. 일단 weight의 채널은 앞에 있는 노드의 채널이랑 맞춰야 해서 가중치의 채널은 입력 노드의 채널수로 정해진 상태이다. 예를 들어 nn.Linear(3,2) 으..