𝄢 𝄢

* * * RGB 3개 채널을 가진 입력 컬러 사진이 있을 때, 입력의 크기를 3x7x7 이라고 하자. (3은 채널 개수) 이때 필터 (커널) 의 크기가 3x5x5 이면 필터 종류 2가지를 통과했을 때 output feature map 이 나오는 과정은 아래 그림과 같다. 커널을 통해 입력 이미지를 쭉 스캔하면서 패턴을 나타내는 feature map 을 출력한다. (커널 속의 값은 weight와 bias 이고 학습 파라미터이다.) 이때 커널의 (채널)개수는 항상 스캔하는 입력 이미지의 채널 개수를 똑같이 따라가야 하므로 고정이다. 출력되는 feature map의 spatial한 크기는 커널이 이동하는 칸수인 stride 에 따라 달라지므로, 커널 사이즈와 stride 에 의존한다. 만약 stride가 (..

아래의 내용은 Dacid C.Lay et al. 의 Linear Algebra and Its Application 에 있는 모든 가역행렬 theorem 을 정리한 것이다. 가역행렬 정리 A를 nxn 정방행렬이라 하면, 아래 각 명제는 모두 A가 가역행렬이라는 명제와 동치이다. a. A는 nxn 단위행렬과 행 동치이다. (**가우스 조던 소거법을 통해 단위행렬로 대각화할 수 있다는 것) b. A는 n개의 추축위치를 갖는다. (**n개의 pivot 원소를 가진다, Full-rank 행렬, 모든 행과 열이 선형 독립) c. 방정식 $A\textbf{x}=\textbf{0}$ 의 해는 자명한 해뿐이다. (**유일한 해가 제로 벡터로 자명하다) d. 선형변환 $\textbf{x}\mapsto A\textbf{x}..

활성화 함수 ReLU 는 Sigmoid 함수의 미분값이 작아서 gradient 값이 점차 소멸하는 vanishing gradient 문제를 해결하기 위해 sigmoid 를 대체한 함수이다. 하지만 ReLU 를 사용해도 항상 vanishing gradient가 해결되는 것은 아니다. 이는 데이터의 분산과 관련이 있다. Batch-size를 5라고 하고 특정 노드에 입력 데이터가 들어간다고 했을때, Activation Function으로 비선형 함수인 ReLU 함수를 사용한다고 하자. 데이터가 전부 양수로 들어간다면? Linear activation 처럼 보여서 non-linearlity를 못살리는 문제가 있다. (vanishing gradient는 해결한다고 해도) 데이터가 전부 음수로 들어간다면? 미분값..

[이진 분류문제에서 MLE 를 사용하는 이유] 로지스틱 회귀 모델에서 0과 1사이의 확률 ($q$) 을 예측하여 강아지와 고양이를 분류를 한다고 하자. 예를 들어 모델이 강아지를 예측하도록 하려고 한다면, 로지스틱 회귀 모델의 출력값인 강아지일 확률 $q$ 를 키우는 것이 학습의 목적이다. 반대로 고양이를 예측하려면, 로지스틱 회귀 모델은 고양이일 확률 $1-q$ 를 키우려고 할 것이다. 확률값 q는 입력값$\times $가중치에 시그모이드를 거쳐 계산된 값이므로 가중치 w에 대한 함수로도 볼 수 있다. 이때 모델의 가중치 w를 추정하기 위해서 최대우도추정 기법을 사용한다. 즉, q 또는 1-q를 최대로 만드는 가중치 w를 찾고자 하는 것이 MLE 기법이다. (강아지면 $q$ , 고양이면 $1-q$ 를 ..

Logistic Regression Sigmoid를 이용한 이진분류를 수행하기 위해 Logistic regression의 개념에 대해 알아보자. Logistic Regression은 선형함수에서 logit을 회귀한 것이다. 여기서 Logit은, log-odds 로 odds는 성공 확률과 실패 확률의 비율 (승산) 을 말하고, logit은 odds 에 log 값을 취한 것을 말한다. $$logit=\mathrm{log}\frac{q}{1-q}$$ 로지스틱 회귀에서는 우선 모델의 입력 변수와 가중치의 선형조합으로 모델의 출력값을 계산한다. 입력과 특정 레이블에 속할 확률 사이의 관계를 모델링하기 위해 도입하는 함수가 logit 함수다. 그 다음 logit을 Sigmoid 함수에 통과시켜서 q를 얻고 Los..

Backpropagation 심층 신경망에서는 1. 특정 파라미터(weight/bias) 에 대한 Loss function의 편미분 값인 그래디언트를 구하고, 2. SGD (Stochastic gradient descent) 등의 Optimizer 로 최적의 파라미터를 업데이트한다. 1번에서 신경망의 깊은 곳에 있는 weight 에 대한 편미분을 구하기 위해서는 Chain rule 을 활용해야 하는데, Chain rule은 미분을 뒤로 전달하면서 곱하는 거니까 이 방법을 Backpropagation이라고 한다. 다음과 같은 신경망에서 Backpropagation을 통해 행렬로 표현된 weight 에 대해 loss function 을 미분해보자. 그림의 각 노드에 대해 다음과 같이 식을 쓸 수 있다. $$..

Momentum Momentum 기법은 gradient를 누적함으로써 관성을 가지게 하는 방법이다. 특정 방향으로 가려는 힘이 남아있어서 다른 방향으로 갈때도 조금 덜 가게 된다. 다른 말로, 이전 것들을 기억하는 관성이 남아있기 때문에 가중치 업데이트의 방향성을 어느정도 유지하여 (mini-batch) SGD보다 변동성을 줄이고, 손실 함수의 local minimum 에서 빠져나오기 쉬워진다. 이 방식으로 인해 가중치 업데이트를 좀 더 빠르고 안정적으로 수렴시킬 수 있다. 현재의 속도는 과거의 속도들에 영향을 받는데, 현재 iteration 에 최근의 속도값들이 더 큰 영향을 준다. RMSProp (Root mean squrare propagation) RMSProp은 Momentum 과 거의 유사한데..

Vanilla GD vs. SGD Gradient descent는 모든 데이터를 다 고려했기 때문에 최소를 향하는 완벽한 방향으로 나아간다. 하지만, 모든 데이터를 다 고려하기 때문에 시간이 너무 느리다. Stochastic gradient descent (SGD)는 GD와 달리 전체 데이터를 모두 입력하지 않고 랜덤하게 추출한 데이터를 하나씩 입력해서 loss function를 만드는 방법이다. SGD를 사용하면 GD에서 발생하는 계산 속도 문제와 local minimum에 빠지는 한계를 극복할 수 있다. SGD의 특징 1. 랜덤하게 데이터를 비복원추출로 하나씩 뽑아서 loss를 만들고 gradient를 계산한다. (랜덤이라 stochastic이라는 이름이 붙었다.) 즉, 데이터 하나만 보고 그래디언트..