에지 검출(1) - 1차·2차 미분, Prewitt, Sobel

 

✣

 

에지 검출(edge detection)은 컴퓨터 비전이 초창기부터 중요하게 다루어온 연구 주제다.
에지는 물체 경계에 있는 점이다. 에지를 완벽하게 검출해 물체의 경계를 폐곡선으로 따낼 수 있다면 분할 문제가 저절로 풀린다. 반대로 영역 분할 알고리즘이 완벽해 물체를 독립된 영역으로 분할하면 에지 검출 문제가 저절로 풀린다. 반대로 영역 분할 알고리즘이 완벽해 물체를 독립된 영역으로 분할하면 에지 검출 문제가 저절로 풀린다. 따라서 둘은 쌍대 문제다. 
하지만 둘은 완전히 다른 방향으로 문제 해결을 모색한다. 에지 검출은 특성이 크게 다른 화소에 집중하는 반면 영역 분할은 비슷한 화소를 묶는 방식을 선호한다. 

Edge는 윤곽선이다!

에지 검출 예시

﹡

1.1. 에지 검출

에지 검출 알고리즘은 물체 내부는 명암이 서서히 변하고 물체 경계는 명암이 급격히 변하는 특성을 활용한다. 
물체의 경계에서 급격한 명암(밝기) '변화'가 생기므로 어떤 함수의 변화량을 측정하는 미분을 활용할 수 있겠다. 
미분을 이용한 에지 검출 방법에는 1차 미분을 이용한 검출 방법과 2차 미분을 이용한 검출 방법이 있다. 
2차 미분은 1차 미분으로 얻은 결과에 미분을 한 번 더 추가한 것인데, 1차 미분은 컨볼루션을 두 번 적용해서 영상을 얻을 수 있지만 2차 미분을 하면 한 번의 컨볼루션으로 구할 수 있다. 이렇게 하면 두 배 빠르게 계산할 수 있다. 
 
미분 영상을 디지털 영상에 적용할 때는 어떻게 할까? 
정수 좌표를 쓰는 디지털 영상에서는 x의 최소 변화량이 1이므로 $ \delta x=1$ 로 한다. 
다음 식은 디지털 영상을 미분하는 식이다. 이 식을 영상 $f$에 적용하는 일은 필터 $u$로 컨볼루션을 하여 구현한다. 필터 $u$를 에지 연산자 (edge operator) 라고 한다. 

1차 미분식

 

디지털 영상의 미분(필터 u로 컨볼루션)

1차 미분 필터를 통과하면 봉우리가 생긴다. 

1차 미분 영상

이때 필터 $u$인 [-1 1] 가 $f(x+1)-f(x)$ 에 대응되는 것에는 필터와 각 함수의 계수 간에는 관련성이 있다. 
x는 기준이 되는 값
x - 1은 기준값 한 칸 전의 값
x + 1은 기준값 한 칸 이후의 값
으로 간단하게 풀 수 있다.

미분 식과 필터 사이의 관계

 

앞서 설계한 에지 연산자 [-1 1] 은 너무 작고 대칭이 아닌 문제가 있다. 그래서 실제로는 [-1 0 1]로 확장을 해서 사용한다. 
또 1차원 연산자를 2차원으로 확장할 수 있다. 2차원에서는 x 방향과 y 방향의 두 방향에 대해서 미분한 그래디언트를 연산자로 사용하여 확장을 한다. 
 

2차 미분식을 구현하는 필터

이들 필터 $u_{x}$ 와 $u_{y}$를 3x3 크기로 확장하면 주변 영역의 정보를 함께 고려하여 영상을 처리할 수 있다. 이로인해 잡음과 작은 변동성을 일부 흡수하면서, 픽셀 값의 변화가 부드럽게 이어지는 효과를 얻을 수 있다.
다음은 가장 널리 쓰이는 에지 연산자 (필터) 이다. 
 
1) 프레윗(Prewitt) 연산자

Prewitt 필터

2) 소벨(Sobel) 연산자
소벨 연산은 노이즈가 있는 영상에서 에지를 검출하는데 대표적으로 사용되는 연산이다. 그리고 밝기 변화율(기울기)을 검출하기 위해 사용하며 돌출한 화소값을 비교적 평균화시켜주기 때문에 노이즈에 대체적으로 강하다. 
소벨 연산자는 보다 가까운 상화좌우 화소에 가중치 2를 준다. 
소벨 필터는 y축을 기준으로 x 위치만 변화시키는 수직 필터 (x미분) 와,
x축을 기준으로 y 위치만 변화시키는 수평 필터 (y미분) 로 나누어져 있다. 

윤곽선 검출을 위해서는 두 필터 (두 방향의 미분) 를 합쳐서 이용해야 한다. 
필터의 크기를 키울 수는 있지만 좋은 효과를 내지 못해서 보통 3x3 필터를 많이 사용한다.
 

소벨 필터

대각선을 기준으로 위쪽은 3, 아래쪽은 1인 가상의 영상에 소벡 에지 연산자를 적용하는 과정은 아래와 같다. 

(4,4) 화소 기준으로 주변 (3x3 크기) 영역에 x방향, y방향 필터로 한번씩 긁은 결과 6과 -6이라는 결과가 나오고

이 과정을 영상 전체에 반복하면 대각선 방향으로 선이 그어진다. 

소벨 연산자 필터 적용 과정

두 방향의 미분 결과를 합친 것을 에지 강도 (Edge strength, 혹은 Gradient magnitude)라고 한다.

$$\textrm{Edge strength}=\sqrt{{f_{x}^{'}}^{2}+{f_{y}^{'}}^{2}}$$

때로는 더욱 간단한 식으로 나타내기도 한다. 

$$\textrm{Edge strength}=\begin{vmatrix}
f_{x}^{'}\end{vmatrix}+\begin{vmatrix}
f_{y}^{'}\end{vmatrix}$$

 

2.2) cv2.Sobel 함수를 활용한 에지 검출 구현

cv2.Sobel(src, ddepth, dx, dy, dst=None, ksize=None, scale=None, delta=None, borderType=None) -> dst

• src: 입력 영상
• ddepth: 출력 영상 데이터 타입. -1이면 입력 영상과 같은 데이터 타입을 사용.
• dx: x 방향 미분 차수
• dy: y 방향 미분 차수
• dst: 출력 영상(행렬)
• ksize: 커널 크기. 기본값은 3.
• scale 연산 결과에 추가적으로 곱할 값. 기본값은 1.
• delta: 연산 결과에 추가적으로 더할 값. 기본값은 0.
• borderType: 가장자리 픽셀 확장 방식. 기본값은 cv2.BORDER_DEFAULT.

import cv2 as cv

img = cv.imread('alexa.jpg')
gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)

grad_x = cv.Sobel(gray, cv.CV_32F, 1, 0, ksize=3) # 그래디언트 맵은 음수를 포함하며 실수다.
grad_y = cv.Sobel(gray, cv.CV_32F, 0, 1, ksize=3) # CV_32F는 numpy의 float32 형과 같다. 

sobel_x = cv.convertScaleAbs(grad_x) # 절대값을 취해 양수 영상으로 변환
sobel_y = cv.convertScaleAbs(grad_y) # CV_8U(uint8) 맵을 만들어 255를 넘는 값은 255로 바꾸어 기록

# grad_x, grad_y에 절대값을 취하고 각각 0.5 가중치를 곱해서 더한 결과
edge_strength = cv.addWeighted(sobel_x, 0.5, sobel_y, 0.5, 0)

cv.imshow('Original', gray)
cv.imshow('sobel x', sobel_x)
cv.imshow('sobel y', sobel_y)
cv.imshow('edge strength', edge_strength)

cv.waitKey()
cv.destroyAllWindows()

cv2.sobel 적용 결과

 

 

 

출처

오일석, 『컴퓨터 비전과 딥러닝』 (한빛 아카데미, 2013)