𝄢 𝄢

AI\ML\DL

• torch.log_softmax

  AI\ML\DL/Pytorch 2024. 3. 11. 14:07

  torch.log_softmax 함수는 softmax 함수에 log를 취한 것과 같다. softmax와 Log 두 연산을 따로 수행하는 것보다 log_softmax를 통해 한번에 수행하는 것이 더 빠르고 수치적으로 안정적이라고 한다. 위 코드를 보면 랜덤으로 생성한 3x5 텐서 x에 softmax를 취하고 log를 취한 결과나, log_softmax를 취한 결과나 동일하다는 것을 알 수 있다. 정리하면 log_softmax는 다중분류 문제에서 logit에 softmax 취한 다음 0과 1사이의 확률로 변환하는 함수이다.

  Read More
• 분산 및 병렬 학습

  AI\ML\DL/Pytorch 2023. 12. 13. 15:27

  분산 학습(Distributed training)은 학습 워크로드를 여러 작업자 노드에 분산시켜 훈련 속도와 모델 정확도를 크게 향상시키는 모델 학습 패러다임이다. PyTorch에서 분산 학습을 수행할 수 있는 몇 가지 방법이 있으며 각 방법은 사용 용도별로 장점을 가진다. DistributedDataParallel (DDP) Fully Shared Data Parallel (FSDP) Remote Procedure Call (RPC) distributed traininng Custom Extensions 비분산 학습은 단일 GPU에서 모델을 학습시킨다. 학습 과정은 다음과 같다. 1. DataLoader로부터 입력 배치를 받는다. 2. Forward pass를 통해 loss 계산 3. Backward ..

  Read More
• Stochastic differential equation(SDE)

  AI\ML\DL/Deep learning theory 2023. 12. 5. 14:52

  확률미분방정식 (Stochastic differential equation) SDE는 일반 미분 방정식과 편미분 방정식 사이의 connection을 제공한다. 일반 미분 방정식(ODE)과 유사하나, 확률적 요소를 추가하여 더 복잡한 시스템을 모델링하는 데 사용된다. 1) ODE 일반미분방정식은 변수의 변화를 시간에 대해 설명하는 방정식이다. $$ \frac{dx}{dt}=f(x,t)$$ ODE는 동일한 초기변수와 매개변수 하에 해가 항상 동일하여 deterministic하다. randomness 를 고려하지 않기 때문이다. 2) SDE 반면 확률미분방정식은 ODE에 확률성 또는 노이즈를 통합하여 불확실성을 가진 시스템을 모델링한다. $$ dx=f(x,t)dt+g(x,t)\cdot dB(t)$$ 이때 $B..

  Read More
• torch.cumprod() w.r.t. diffusion noise scheduling

  AI\ML\DL/Pytorch 2023. 12. 3. 19:25

  [cumprod: cumulative product 함수] torch.cumprod 함수는 PyTorch 에서 제공하는 함수로, 텐서의 누적 곱을 요소별로(element-wise) 계산해준다. 사용법은 다음과 같다. import torch tensor = torch.tensor([1, 2, 3, 4]) cumprod_result = torch.cumprod(tensor, dim=0) print(cumprod_result) tensor([ 1, 2, 6, 24]) 예를 들어, 'torch.tensor([1,2,3,4])' 텐서에 대해 torch.cumprod 함수를 dim=0 (첫번째 차원)으로 적용하면, 이 함수는 각 요소의 누적곱을 계산하여 [1,2,6,24] 를 반환한다. 1 1x2=2 1x2x3=6..

  Read More
• Transformer: Attention is all you need

  보호글 2023. 10. 23. 17:46

  보호되어 있는 글입니다.

  Read More
• Evaluation for Weakly Supervised Object Localization: Protocol, Metrics, and Datasets

  보호글 2023. 10. 3. 23:58

  보호되어 있는 글입니다.

  Read More
• torch.cat vs torch.stack

  AI\ML\DL/Pytorch 2023. 9. 29. 22:14

  torch.cat 과 torch.stack 은 서로 다른 텐서 결합 방법이다. 1) torch.cat (Concatenate) torch.cat 은 서로 다른 행렬이었던 두 텐서를 하나의 텐서로 만들어준다. 따라서 차원의 변화가 생기지 않는다. 예를 들어 두 개의 2x3 짜리 행렬을 cat 해주면 쌓아주는 방향에 따라 4x3 행렬이나 2x6 행렬이 된다. import torch # 2x3 행렬 하나 a = torch.tensor([[1,2,3],[4,5,6]]) # 2x3 행렬 하나 b = torch.tensor([[7,8,9],[10,11,12]]) # 행방향 쌓기 c = torch.cat([a,b], dim=0) # 열방향 쌓기 d = torch.cat([a,b], dim=1) print(c) pri..

  Read More
• Inception Net (2014.09)

  AI\ML\DL/논문 리뷰 2023. 9. 17. 00:07

  * * * Inception Net 은 Google에서 발표한 네트워크로 VGG Net과 같은 해에 나온 모델로, ILSVRC 2014 대회에서 1위를 차지한 모델이다. GoogLeNet이라고도 불린다. Inception Net은 Lin et al. 의 Network in Network 이라는 논문과 "we need to go deeper" 이라는 유명한 인터넷 밈으로부터 영감을 받아 이름을 지었다고 한다. 실제로 논문에서 아래의 internet meme을 첫 번째로 인용했다. Inception Module Inception Module은 Inception Net 내부에서 총 9번이나 반복하는 모듈이다. VGGNet 를 생각해보면 3x3 conv를 두 번 해서 5x5 conv 와 같은 receptive ..

  Read More
이전
1 2 3 4 5
다음