Receptive field

In the context of artificial neural networks, the receptive field is defined as the size of the region in the input that produces the featres.
Wikipedia

 

3차원으로 배열된 CNN 레이어

CNN은 local operation(i.e., convolution, pooling)을 통해 여러 번 레이어를 거치면서 원본 이미지의 점점 추상적인 특징을 학습하기 때문에 시각적 패턴을 인식하는 데 다른 유형의 신경망과 비교했을 때 성능이 좋다.

후반의 레이어는 초반의 레이어보다 이미지의 더 넓은 부분을 보게 된다. 

 

이제부터 후반부의 레이어를 Higher layer, 초반의 레이어를 Lower layer라고 하겠다.

lower layer의 경우 이미지의 작은 부분만을 보고, higher layer로 갈수록 이전 레이어들이 본 부분들을 결합해서 보기 때문에 보는 영역이 더 넓어진다. 이때 레이어를 통과한 노드가 이전 레이어에서 본 영역을 Receptive field (수용 영역)이라고 정의한다. 

Receptive field는 그 feature를 생성하게 된 입력의 국소적인 픽셀 부분(패치)이다.

 

이해를 위해 아래 그림을 보자.

 

• 모든 conv layer에 대해 필터 크기는 모두 3x3로 동일하며, stride = 1, padding =0 라고 가정

 

Layer 2의 입력인 5x5 feature는 3x3 커널을 통과하여 3x3 feature가 되었다. 

Layer 2의 $a_{4}$는 Layer 1의 3x3 패치를 3x3 크기의 필터와 convolution 하여 생성된 것이므로, 해당하는 Layer 1의 3x3 패치는 $a_{4}$의 receptive field가 된다. 

 

 

하나의 더 예시를 보자면, Layer 2 이전에는 7x7 크기의 feature가 있었을 것이다. (3x3 필터를 통과했을 것이므로)

 

 

 

자 그럼 여기서 Layer 3의 receptive field의 receptive field는 크기가 몇 일까?

$b_{6}$의 receptive field를 보면 알 수 있듯, 정답은 5x5 이다. 

 

 

결론

layer가 더 깊어질 수록 feature map의 한 픽셀은 이미지의 더 넓은 영역을 담고 있다.

즉, 여러번 통과하면 receptive field가 넓어진다!

---

< 3x3 convolution을 두번하는 것의 의미 >

3x3 conv 두번을 통해 5x5 의 receptive field를 만들었다. 

 

 

 

 

layer 3의 $a_{4}$ 는 이전 레이어의 3x3의 영역을 보고, 그 이전(layer 1)의 5x5 영역을 본다. (이외의 영역은 보지 않는다!)

그러면 layer 1의 중앙에 있는 3x3 은 $a_{4}$ 픽셀이 총 2회 보게 된다. 그러나 그 바깥의 영역은 한 번만 본다. 

그러니까 가까운 레이어는 집중해서 보고, 멀리있는 레이어는 연하게 본다는 의미이다.

이는 담당 위치를 가장 찐하게 보고, 멀수록 연하게 본다고 해석할 수 있다.