torch.utils.data.DataLoader

DataLoader

DataLoader 는 데이터셋을 미니 배치 단위로 분할하여 학습프로세스에 제공해주는 역할을 한다. 

데이터로더 (DataLoader) 객체는 학습에 사용될 데이터 전체를 보관했다가 모델 학습을 할 때 배치 크기만큼 데이터를 꺼내서 사용한다. 

이때 주의할 것은 데이터를 미리 잘라 놓는 것이 아니라 내부적으로 반복자 (iterator)에 포함된 인덱스 (index)를 이용하여 배치 크기만큼 데이터를 반환한다는 것이다. 

 

• DataLoader 사용 예시

아래의 코드는 각각 5개의 샘플을 가진 데이터 (data; example data) 와 레이블 (labels) 텐서로 dataset을 만든 후에

dataloader를 만들어서 배치 크기만큼 데이터를 비복원추출하여 프린트하는 간단한 코드이다. 

이를 위해 텐서나 csv파일이 될 수 있는 dataset을 torch.utils.data.DataLoader에 파라미터로 전달하였다.

 

import torch
from torch.utils.data import DataLoader, TensorDataset

# Example data and labels
data = torch.tensor([[1, 2], [3, 4], [5, 6], [7, 8], [9, 10]])
labels = torch.tensor([0, 1, 0, 1, 0])

# Creating a TensorDataset
dataset = TensorDataset(data, labels)

# Creating a DataLoader
batch_size = 2
dataloader = DataLoader(dataset, batch_size=batch_size, shuffle=True)

# Iterating over the DataLoader
for minibatch in dataloader:
    inputs, targets = minibatch
    # Perform operations with the current mini-batch, e.g., model training
    print("Input batch:", inputs)
    print("Target batch:", targets)

DataLoader는 iterable (반복 가능) 한 객체이다. 따라서 for문을 사용하여 2개 배치만큼 추출된 data와 label을 프린트할 수 있다. 

출력은 다음과 같다. 

Input batch: tensor([[1, 2],
        [7, 8]])
Target batch: tensor([0, 1])
Input batch: tensor([[ 3,  4],
        [ 9, 10]])
Target batch: tensor([1, 0])
Input batch: tensor([[5, 6]])
Target batch: tensor([0])

 

참고로 총 샘플 수가 배치 크기로 나누어 떨어지지 않는 경우 나머지 만큼의 더 적은 수의 샘플을 가질 수 있다.

이 코드에서도 총 샘플 개수인 5개가 배치사이즈인 2로 나누어 떨어지지 않아서 last batch 의 개수는 1개 임을 알 수 있다. 

또한 DataLoader에서 shuffle=True 로 설정했기 때문에 샘플의 순서를 랜덤으로 섞어서 추출하였다. 

 

1. 배치 1: [[1, 2], [7, 8]]
2. 배치 2: [[3, 4], [9, 10]]
3. 배치 3: [[5, 6]] (참고: 총 샘플 수가 배치 크기로 나눌 수 없는 경우 마지막 배치는 더 적은 수의 샘플을 가질 수 있음)

---

next(iteration(DataLoader))

• for문을 사용하지 않고도 위 코드를 반복하면 계속적으로 다음 배치를 볼 수 있다. 
• 데이터 출력이 잘 나오는 지 파악할 때 쓸 수 있다. 

# next(iter(DataLoader))
input, target = next(iter(dataloader))
print(input)
print(target)

tensor([[5, 6],
        [7, 8]])
tensor([0, 1])