Batch Normalization

 

 

활성화 함수 ReLU 는 Sigmoid 함수의 미분값이 작아서 gradient 값이 점차 소멸하는 vanishing gradient 문제를 해결하기 위해

sigmoid 를 대체한 함수이다.

하지만 ReLU 를 사용해도 항상 vanishing gradient가 해결되는 것은 아니다. 이는 데이터의 분산과 관련이 있다.

 

Batch-size를 5라고 하고 특정 노드에 입력 데이터가 들어간다고 했을때, 

Activation Function으로 비선형 함수인 ReLU 함수를 사용한다고 하자.

데이터가 전부 양수로 들어간다면?

Linear activation 처럼 보여서 non-linearlity를 못살리는 문제가 있다. (vanishing gradient는 해결한다고 해도)

데이터가 전부 음수로 들어간다면?

미분값이 다 0이 되어서 vanishing gradient가 발생하고 파라미터가 업데이트 되지 않는다.

 

따라서 어떤 node에 대해 적절하게 nonlinearlity를 살리면서 vanishing gradient를 방지할 수 있는 파라미터를 AI를 통해서 학습시킬 수 있다. 다른 말로 non-linearity와 vanishing gradient 사이의 trade-off를 하고자 함이 batch normalization을 사용하는 이유이다.

batch norm은 모든 데이터를 평균 0 분산 1이 되도록 batch를 normalization (정규화)를 해준다.

﹡

또, 배치 정규화 계층마다 이 정규화된 데이터의 평균과 분산에 확대(scaling) 및 이동(shift) 변환을 수행할 수 있는데,

예를 들어 파이토치의 nn.BatchNorm2d 와 같은 배치 정규화 층은 평균과 분산을 조절하는 데 사용되는 학습 가능한 파라미터 a와 b를 내부적으로 가지고 있다. 이 파라미터들은 네트워크의 학습 과정 중에 역전파를 통해 최적화되며, 데이터의 평균과 분산에 영향을 미치게 된다. 

$$BN(x)=a(\frac{X-\bar{X}}{\sigma _{x}+\sqrt{\varepsilon }})$$

• $X$ 는 배치 정규화를 적용하고자 하는 입력
• $\bar{X}$는 입력 $X$ 의 평균
• $\sigma _{x}$ 는 입력 $X$ 의 표준편차
• $\varepsilon $는 분모에 추가되는 작은 값(분산이 0에 가까운 값이 되어 분자가 0이 되는것을 방지)
• a와 b는 배치 정규화의 학습 가능한 스케일과 시프트 파라미터

 

변화된 평균과 분산:

• 평균: b
• 분산: $a^{2}$

 

즉, 처음에는 평균 0, 분산 1에서 시작해서 학습을 통해 적합한 값으로 조정을 하게 된다. 

 

또한 배치 정규화의 경우, 각 레이어 내의 노드마다 learnable 파라미터 a와 b를 사용한다. 각 노드에서 a와 b를 따로따로 학습시켜주기 때문에 결국 레이어의 노드 수의 2배만큼 파라미터가 추가되는 셈이다. 

레이어 내의 노드가 3개인 경우, 배치 정규화를 위해 필요한 총 학습 가능한 파라미터 개수는 6개이다. 

 

 

✛

*

*

*

 

 

• C: 채널
• N: 배치 사이즈
• H, W: 행과 열

Batch normalization은 배치마다 표준화를 해주는 것이기 때문에 위 그림과 같이 표현될 수 있다. 이는 하나의 데이터에 대해서 노드 별로(채널 별로) 표준화를 해주는 Layer normalization과 다르다.