Inception Net (2014.09)

*  *  *

Inception Net 은 Google에서 발표한 네트워크로 VGG Net과 같은 해에 나온 모델로,
ILSVRC 2014 대회에서 1위를 차지한 모델이다. GoogLeNet이라고도 불린다.
Inception Net은 Lin et al. 의 Network in Network 이라는 논문과 "we need to go deeper" 이라는 유명한 인터넷 밈으로부터 영감을 받아 이름을 지었다고 한다. 실제로 논문에서 아래의 internet meme을 첫 번째로 인용했다. 
 

영화 Inception 의 한 장면, https://knowyourmeme.com/memes/we-need-to-go-deeper

---

Inception Module
 

Inception Module은 Inception Net 내부에서 총 9번이나 반복하는 모듈이다.
 
VGGNet 를 생각해보면 3x3 conv를 두 번 해서 5x5 conv 와 같은 receptive field를 얻었었다.
Inception Net에서는 1x1, 3x3, 5x5의 여러가지 사이즈를 가진 conv layer를 다 통과시켜 보고 그렇게 얻은 feature map 들을 concat 하는 아이디어(Filter concatenation) 를 사용한다. 아래 그림은 Inception module의 naive version으로 filter concatenation 을 하는 것을 보여준다.

이때 feature map 들을 depth (채널) 로 쌓으려면 spatial (행x열) size 가 같아야만 한다. 즉, 사이즈를 잘 맞추는게 중요하다.
논문에서는 inception module의 stride 를 모두 1로 고정하고 padding을 적절히 조절해서 사이즈를 맞춰줬다.
예를 들어 3x3 conv 에서 stride=1 일때 output feature map의 spatial size를 유지시켜 주려면 padding=1 이어야 한다.
 

---

<1x1 conv를 활용한 차원 축소>

Inception Net은 1x1 convolution 을 사용해서 모델의 파라미터 수를 감소시킨다.
예컨데 feature map의 depth를 192에서 128로 축소시키려고 할 때,
바로 3x3 커널을 통과해서 weight shape을 [128, 192, 3, 3] 로 만든다면, 192x128x3x3 (221,184) 개의 파라미터가 필요한데 

3x3 이전에 1x1 크기의 필터를 거쳐서 통과한다면 (192 -> 96 -> 128)
weight shape: [96, 192, 1, 1] + [128, 96, 3, 3] =  129,024개의 파라미터가 필요하기 때문에 그 수를 줄일 수 있다는 것이다.

 
1x1 을 나중에 하는 것도 시도해 보았는데 파라미터 수가 덜 줄어들기 때문에 차원 감소용 1x1 conv는 필터 이전에 통과시키기로 한다.
[96, 192, 1, 1] + [128, 96, 3, 3] < [96, 102, 3, 3] + [128, 96, 1, 1]
(= 129,024 < 178,176)
 
반면 pooling과 1x1 conv는 순서를 바꿔도 파라미터 수에 변화가 없어서 max pooling을 먼저 해준다.
 

---

 

전체 구조

전체 구조는 위와 같은데 글씨가 너무 작아서 안보이니까 왼쪽부터 확대해서 순서대로 보겠다.
 

---

input

Notation
- 3x3+1 이면 사이즈 3x3 커널에 stride=1 이라는 뜻이다.

- S: 레이어 통과한 후 행렬 크기가 Same이 되도록 padding을 적절히 맞춰준다는 뜻
- V: Valid 한 애들까지만 스캔 => padding=0 으로 하겠다는 뜻
 

---

LocalRespNorm (Local Response Normalization)

LRN은 normalization 기법으로 픽셀 값이 너무 큰 픽셀의 영향을 완화해주는 역할을 한다.
$$b^{i}_{x,y}=\frac{a^{i}_{x,y}}{(k+\alpha \sum_{j=max(0,i-n/2)}^{min(N-1, i+2/N)}(a^{i}_{x,y})^{2})^{\beta }}$$
 

 
depth로 쌓인 인접한 feature map 들을 아래 그림과 같이 나타내 보자.
 
 

 
i 번째 feature map을 기준으로 양쪽에 두개씩 있다. 이때 고려할 이웃 필터의 수는 $n$개로 정해준다. 
기존 픽셀은 $a^{i}_{x,y}$ 이고, 이 픽셀 값을 인접한 feature map 들에서
같은 공간적 위치에 해당하는 각 픽셀들의 조합 ($={(k+\alpha \sum_{j=max(0,i-n/2)}^{min(N-1, i+2/N)}(a^{i}_{x,y})^{2})^{\beta }}$) 으로 나눠줌으로써 너무 큰 픽셀때문에 다른 작은 픽셀들이 무시되지 않도록 normalize를 해준다.
하지만 요새는 이 기법이 잘 안쓰이고 Batch normalization을 주로 사용한다.

---

 
Inception Module (①, ②, ③, ⑤, ⑥, ⑧, ⑨)
 

 
앞서 본 (b) Inception module with dimension reductions 그림과 동일한 레이어가 반복되는 구간이다.
모든 conv layer의 stride는 1이고 padding수를 조절해주어 spatial size를 맞춰준다.
이때 파라미터 수를 줄이기 위해 1x1 convolution 가 들어있다.
앞에서 설명했으니 자세한 설명은 생략하겠다.
 
 

Auxiliary classifiers (④, ⑦)

Inception Net에는 main classifier 말고도 2개의 보조 classifier가 더 있는데, 이는 vanishing gradient를 막기 위해 존재한다. 

auxiliary classifier 1, 2 에서도 softmax 값을 출력해서 최종 Loss를 구할 때 더해준다.
전체 loss 함수를 다음과 같이 정의해서 weighted (논문에서 0.3로 설정) loss 를 계산해준다.
Loss = out_loss + 0.3*(aux1_loss + aux2_loss)
하지만 auxiliary classifier는 훈련 과정에서만 존재하고 test 땐 떼버린다.

 
Main classifier

 
Main classifier 까지 총 3가지의 softmax (softmax 0, softmax 1, softmax 2) 가 나오게 된다.

---

전체 구조를 표로 나타낸 것
 

노란색으로 색칠한 부분이 9개의 Inception Module 이다. 
그림 (b) 와 같이 1x1 conv, 3x3 conv, 5x5 conv, pool project 에서 얻은 feature map을 concatenation 했다.
inception (3a) 를 보면 알 수 있듯이 output size 28x28x256 에서 채널 수를 나타내는 256은 각각 1x1 conv, 3x3 conv, 5x5 conv, pool project에 해당하는 64, 128, 32, 32 를 합한 것이다.
다른 inception module에도 동일하게 적용된다. 

 

성능 비교 표

아래 표는 7개의 모델 (앞서 제시된 모델과 동일한 사이즈 6개 + 좀더 큰 모델 1개) 을 앙상블하고 이미지 하나를 144개 이미지로 변형을 거친 다음 통과시켜 7*144=1008 개의 출력을 평균내서 최종 분류를 수행한 성능이다.
 
이때 6개의 모델은 구조부터 초기 weight까지 모두 동일하고 단지 data 보는 순서만 다르게 했다고 한다.
 
또한 144개의 이미지는 여러가지 resize, crop 방법을 통해 이미지의 변형(transform)을 거친 것이다. 일종의 TTA (Test time augmentation)을 한 것이다.

 
Transform 기법

• 4가지로 resize (행 또는 열, 둘 중 짧은 쪽이 256, 288, 320, 352가 되도록) (4가지 case)
• 가로가 긴 이미지면 왼쪽, 중, 오른쪽 / 세로가 긴 이미지면 위, 중간, 아래로 crop (3가지 case)
• 이미지 좌우 반전 (2개 case)
• 224x2224 로 왼쪽 위, 오른쪽 위, 왼쪽 아래, 오른쪽 아래, 중심 이렇게 다섯 가지로 자름 & 자르지 않고 224x224 로 resize 한 것까지 포함 총 5+1=6개의 case
• 그래서 4*3*2*6 = 144개!

요약

1. 여러 사이즈의 필터를 사용해서 그 결과를 Concat 해서 사용
2. 1x1 conv로 dimension reduction → 파라미터 수를 줄임
3. Auxiliary classifier로 vanishing gradient를 완화
4. VGGNet 보다 10배 이상 적은 파라미터 수로 1등 달성
5. GoogLeNet 이라고도 불림