분산 및 병렬 학습

분산 학습(Distributed training)은 학습 워크로드를 여러 작업자 노드에 분산시켜 훈련 속도와 모델 정확도를 크게 향상시키는 모델 학습 패러다임이다. PyTorch에서 분산 학습을 수행할 수 있는 몇 가지 방법이 있으며 각 방법은 사용 용도별로 장점을 가진다. 

• DistributedDataParallel (DDP)
• Fully Shared Data Parallel (FSDP)
• Remote Procedure Call (RPC) distributed traininng 
• Custom Extensions

 

비분산 학습은 단일 GPU에서 모델을 학습시킨다. 학습 과정은 다음과 같다. 

1. DataLoader로부터 입력 배치를 받는다. 

2. Forward pass를 통해 loss 계산

3. Backward pass를 통해 매개변수 기울기 계산

4. Optimizer가 기울기를 사용하여 모델 업데이트

 

반면 분산 학습(DDP)는 학습 작업을 여러개의 GPU로 분산한다. 각 GPU 프로세스는 다음과 같이 모델의 로컬 복사본을 가지고 있다. 

 

이때 모든 모델 복제본과 옵티마이저는 서로 동일하며, 초기 모델 파라미터뿐만 아니라 옵티마이저도 동일한 랜덤 시드를 사용한다. DDP는 학습 과정 전체에서 이 동기화를 유지한다. 

 

데이터 병렬

각 GPU 프로세스는 동일한 모델을 가지고 있지만 DistributedSampler에 의해 데이터로더로부터 받은 input batch 를 나눠받기 때문에 각 모델이 전달받는 데이터는 다르다. (샘플러는 각 프로세스가 다른 입력을 받도록 하는 역할을 한다.) 이 과정을 데이터 병렬 처리라고 한다. 

 

 

각 프로세스에서 모델(worker)은 Local하게 forward 및 backward pass를 실행한다. 이때 서로 다른 입력을 처리하기 때문에 누적된 gradient값도 다르다. 이 시점에서 optimizer 단계를 실행하면 프로세스간 서로 다른 파라미터가 생성된다. 

DDP 는 이 시점에서 synchronization 을 시작한다. 각 프로세스(모델)로부터 학습된 gradient는 bucket-allreduce 알고리즘을 활용하여 집계된다. 이 동기화 과정은 다른 프로세스의 gradient가 계산될 때까지 기다리지 않고 아직 실행중인 링을 따라 통신을 시작하고 동기화를 한다. 이를 통해 GPU가 항시 작동하게 되고 idle 상태(사용가능한 상태이지만 노는 상태) 가 되지 않는다. Optimizer 단계에서는 동기화되어 집계된 모델들의 파라미터가 한 번에 업데이트된다.