Super resolution (SR) technique

Super Resolution

• 저해상도 (Low Resolution, LR) 영상으로부터 고해상도 (High Resolution, HR) 영상을 생성하는 기술이다.
• 저해상도 이미지는 해상도가 낮아 세부 정보가 흐릿하거나 손실되는 경향이 있는데, 이러한 저해상도 이미지를 고해상도 이미지로 변환하거나 복원하여 더 선명하고 세부적인 정보를 포함하는 이미지를 생성함

SR 은 크게 하나의 이미지를 이용하는지, 여러 이미지를 이용하는지에 따라 Single Image Super Resolution (SISR), Multi Image Super Resolution (MISR) 로 나뉘는데, 주로 SISR에 대한 연구가 주를 이룬다. 

 

Super resolution 기술은 주로 다음과 같은 방법으로 구현될 수 있다. 

1. 보간법 (Interpolation): 주변 픽셀의 값을 사용하여 픽셀을 보간함으로써 이미지의 해상도를 향상시키는 방법

2. 신경망 기반 방법: 딥러닝(CNN)을 활용하여 저해상도 이미지와 고해상도 이미지 사이의 매핑을 학습하는 방법

- 여러 겹으로 쌓은 다층 네트워크를 사용하여 저해상도 입력과 고해상도 출력 간의 복잡한 비선형적 관계를 정밀하게 분석하여 보다 정확하게 변환할 수 있는 합성곱 커널 파라미터를 학습한다[1].

3. 예측 기반 방법: 이미지의 통계적인 속성이나 구조를 분석하여 저해상도 이미지를 고해상도로 예측하는 방법

 

딥러닝 기반의 초해상화 알고리즘 기술 현황 및 동향

1) SRCNN 과 FSRCNN

<SRCNN>

- SRCNN은 최초로 end-to-end 방식으로 모든 단계를 하나의 통합된 네트워크에서 처리한다. 

- 입력 영상인 LR 영상에는 *바이큐빅 보간법을 적용해 업스케일(LR->HR 하기 위해 이미지의 크기를 확대하는 과정, resolution 확대)링 된 이미지를 사용한다. 즉, CNN 네트워크를 통과하면서 영상의 해상도에는 변화가 없다. 해당 연구는 매우 단순한 방법으로 기존의 신호처리 관점에서 바라보았던 초해상화 문제를 딥러닝 관점에서 풀어내면서 높은 성능을 보여준다는 점에서 의의가 있다.

* 바이큐빅 보간법은 인접한 픽셀들 사이의 관계를 이용하여 새로운 픽셀 값을 생성한다. 이를 위해 주변의 16개의 픽셀 값을 사용한다. 각 픽셀은 그 주변의 픽셀들의 가중 평균을 계산하여 새로운 값을 할당받게 된다. 

- 단순한 3계층의 FCN 구조를 가진다.

❶ 첫번째 층은 패치를 추출하는 역할로 LR 영상에서 패치들을 추출하여 feature map 단위로 표현

❷ 두번째 층은 각각의 feature map을 또 다른 feature map으로 비선형 매핑하는 역할을 한다.

❸ 비선형적으로 매핑된 feature map들을 바탕으로 HR 영상을 생성해낸다.

 

<FSRCNN>

- 기존 SRCNN 대비 가장 큰 차이점은 입력으로 들어가는 LR 영상을 바이큐빅 보간법을 사용하여 업스케일링하지 않고 그대로 네트워크에 넣는 방식을 사용한 것이다. 

- 영상의 해상도를 변화하기 위해 Deconvolution 층을 사용함; feature map 의 가로 세로 크기를 키워주어 원하는 해상도로 출력 영상을 늘릴 수 있다. (업스케일링하고자 하는 배수의 제곱에 비례하여 연산량 감소시킬수 있다.)

- SRCNN에 비해 낮은 파라미터 수와 높은 연산속도, 성능 향상

 

2) VDSR (Very Deep Super Resolution)

- 일반적으로 깊은 딥러닝 모델로 깊은 네트워크를 설계하면 연산량이 많아지고 파라미터 수가 증가한다. 그러나 깊은 네트워크를 학습 시 역전파 과정에서 vanishing gradient 혹은 gradient exploding 문제가 발생하여 필터 파라미터들이 제대로 학습되지 않는 문제 발생가능

- 이러한 문제를 해결하기 위해 잔차 학습이라는 새로운 학습 방법으로 ResNet 제안 (Kaiming He)

- 입력 LR 영상을 최종 출력 HR 영상에 더해주고 두 영상의 차이 값을 학습하는 방법

       - 바이큐빅 보간법으로 업스케일링된 입력 LR 영상과 출력 HR 영상을 네트워크로 학습

       - 그러나 SRCNN과 다르게 입력 LR 영상과 출력 HR 영상의 차이 (잔차)를 네트워크에 입력하여 마지막 출력단에서 입력 LR 영상을 더해준다. 

- 상대적으로 깊은 20층의 네트워크를 가진다 (Very deep super resolution)

 

3) EDSR

- 잔차 학습을 이용한 깊은 네트워크(32개 이상의 층, 채널수/파라미터 수 증가) 설계 방법 중 하나

- 안정적으로 학습하기 위해 네트워크를 Residual Block 별로 나누고 각각을 Skip Connection 을 사용해 연결하며 필터 파라미터들이 더 쉽게 최적화되도록 네트워크를 설계함

- SPCNN (Sub Pixel Convolutional Neural Network)을 사용해 학습과정에서 입력 LR 영상의 해상도를 키움

- SPCNN을 사용한다면 CNN을 거친 뒤 마지막 레이어에서 feature map개수를 업스케일링 배수의 제곱 개만큼 늘려준 뒤 이를 픽셀 셔플 연산을 통하여 적절히 배치하여 원하는 해상도를 얻을 수 있다. 

 

 

[1] 서유림, 강석주, 딥러닝 기반 Super Resolution 기술의 현황 및 최신 동향 (2020)