Insights for CNN

*  *  *

CNN의 컨볼루션은 위치별 패턴을 찾는 연산이다. 컨볼루션을 신경망에 적용한다는 것은 

"내가 지금부터 보여줄 입력 숫자들(사진)에는 어떤 위치별 패턴이 있다" 라는 사전 정보(Inductive bias) 를 잘 준 것이다.

 

특징 1. 신경 다발 connection을 잘 끊어냄

- 인간의 뇌는 이미지를 인식할 때 뇌의 일부분만 활성화 시킨다. Fully connected layer처럼 첫 layer에서 모든 픽셀의 값을 한꺼번에 모두 다 보려는 것은 인간의 사고방식이 아니라는 것이다. 

 

이미지를 FC layer에 넣는다면 모든 픽셀을 한 번에 넣어서 신경망에 통과시키기 때문에 이건 뭐 아래 그림 처럼 이미지의 픽셀들 위치를 서로 막 바꿔 weight를 학습하는 것과 다를 바가 없다. Fully connected 를 사용한다면 아래 그림 처럼 픽셀들 위치가 뒤죽박죽이어도 성능의 차이가 없어야 할 것이다. 모든 픽셀들 하나하나를 다 세심하게 보고 노드와 weight로 연결시켜서 학습시키는 것이기 때문이다. 

이렇듯 fc layer 처럼 위치 정보를 사용하지 않는 것은 이미지 인식에 도움이 되지 않는다. (인간의 사고방식과도 다름)

이러한 방식은 인간이 이미지를 보고 인식하는 사고방식과 조금 다르다! (인간은 사진을 대충 딱! 보고 위치별 특징을 고려해서 중요한 부분을 봄, CNN도 마찬가지로 픽셀 값들 위치를 마구 섞으면 인식 불가)

 

CNN은 사진 속에서 위치와 배치가 중요하다는 가이드를 준다. 

인간: 어! 눈코입을 보니 강아지네.

 

특징 2. 위치별 특징을 추출함 (어디에 무엇이 있는지?)

- 위치 정보를 유지한 채로 특정한 패턴(=feature map)을 찾는다!

CNN은 가까이 있는 것끼리 필터로 묶어서 컨볼루션을 한 후 각 노드로 연결시킨다. 모든 픽셀을 한번에 connection하는 것이 아니라 가까이 있는 것들끼리 connection을 강제로 끊기 때문에 위치 정보를 잃지 않는다. 이로써 각 노드는 특정 위치를 담당하게 된다. 

필터는 이미지 또는 피처맵에 내적을 취해주는 것이기 때문에 닮은 정도를 출력한다. 즉, 필터를 이미지에 스캔해가면서 각 필터와 비슷한 부분을 강조해서 필터가 알아내고자 하는 패턴을 알아낸다. 이때 필터는 제각각의 크기이지만 이미지를 왼쪽 위부터 오른쪽 아래로 순서대로 스캔을 하기 때문에 feature map은 위치 정보를 잃지 않는다. 

 

 

Summary - Conv layer가 FC layer와 다른점!

• 주변 (일부 영역)만 연결한다. 
• 한 feature map에 대해서 필터를 스캔하면서 모든 영역에 대해 weight 재사용
• 여러 종류의 필터로 여러 종류의 특징을 추출
• CNN은 각 필터가 어떤 특징을 추출할지를 AI가 학습한다. (필터의 weight값이 backpropagation을 통해 계속 업데이트 된다)
  • CNN이 없는 옛날에는 어떤 특징을 추출해야 고양이/강아지를 잘 인식할까? 를 연구자들이 직접 알아내야 했다. 

 

점점 convolution layer를 늘려가면서 feature map을 뽑으면 더욱 다양하고 깊은 특징을 뽑을 수 있다. 

CNN을 통과하면서 그 패턴들이 곱해지고 (뭐가 더 중요한 특징?) 합해진다(조합된다).

레이어가 깊어질수록 low-level feature들이 high-level feature가 된다.

 

아래에서 중간에 있는 그림은 CNN을 통과한 feature map을 모두 더한(합친) 것이다.

(노란색은 필터가 중요하게 본 부분을 의미)

이것을 기존의 이미지와 겹쳐 그렸더니 비행기의 부품들을 주목해서 봤다는 것을 확인할 수 있었다.

반면에 배경은 안중에도 없었다!!

따라서 CNN의 가장 큰 특징은 위치 정보를 잃지 않으면서 중요한 부분에 집중한다는 것이라고 볼 수 있다. 

left: original image, middle: sum of feature map, right: feature map with original image

 

ImageNet Challenge

• training: 128만, validation: 5만, test: 10만
• class 개수: 1000
• 2012년 AlexNet부터 CNN 활용, 딥러닝이 휩쓸기 시작
• 이미지의 사이즈가 다양해서 resize, crop 등을 잘 해줘야 함