𝄢 𝄢

확률미분방정식 (Stochastic differential equation) SDE는 일반 미분 방정식과 편미분 방정식 사이의 connection을 제공한다. 일반 미분 방정식(ODE)과 유사하나, 확률적 요소를 추가하여 더 복잡한 시스템을 모델링하는 데 사용된다. 1) ODE 일반미분방정식은 변수의 변화를 시간에 대해 설명하는 방정식이다. $$ \frac{dx}{dt}=f(x,t)$$ ODE는 동일한 초기변수와 매개변수 하에 해가 항상 동일하여 deterministic하다. randomness 를 고려하지 않기 때문이다. 2) SDE 반면 확률미분방정식은 ODE에 확률성 또는 노이즈를 통합하여 불확실성을 가진 시스템을 모델링한다. $$ dx=f(x,t)dt+g(x,t)\cdot dB(t)$$ 이때 $B..

In the context of artificial neural networks, the receptive field is defined as the size of the region in the input that produces the featres. Wikipedia CNN은 local operation(i.e., convolution, pooling)을 통해 여러 번 레이어를 거치면서 원본 이미지의 점점 추상적인 특징을 학습하기 때문에 시각적 패턴을 인식하는 데 다른 유형의 신경망과 비교했을 때 성능이 좋다. 후반의 레이어는 초반의 레이어보다 이미지의 더 넓은 부분을 보게 된다. 이제부터 후반부의 레이어를 Higher layer, 초반의 레이어를 Lower layer라고 하겠다. lower lay..

* * * CNN의 컨볼루션은 위치별 패턴을 찾는 연산이다. 컨볼루션을 신경망에 적용한다는 것은 "내가 지금부터 보여줄 입력 숫자들(사진)에는 어떤 위치별 패턴이 있다" 라는 사전 정보(Inductive bias) 를 잘 준 것이다. 특징 1. 신경 다발 connection을 잘 끊어냄 - 인간의 뇌는 이미지를 인식할 때 뇌의 일부분만 활성화 시킨다. Fully connected layer처럼 첫 layer에서 모든 픽셀의 값을 한꺼번에 모두 다 보려는 것은 인간의 사고방식이 아니라는 것이다. 이미지를 FC layer에 넣는다면 모든 픽셀을 한 번에 넣어서 신경망에 통과시키기 때문에 이건 뭐 아래 그림 처럼 이미지의 픽셀들 위치를 서로 막 바꿔 weight를 학습하는 것과 다를 바가 없다. Fully c..

* * * RGB 3개 채널을 가진 입력 컬러 사진이 있을 때, 입력의 크기를 3x7x7 이라고 하자. (3은 채널 개수) 이때 필터 (커널) 의 크기가 3x5x5 이면 필터 종류 2가지를 통과했을 때 output feature map 이 나오는 과정은 아래 그림과 같다. 커널을 통해 입력 이미지를 쭉 스캔하면서 패턴을 나타내는 feature map 을 출력한다. (커널 속의 값은 weight와 bias 이고 학습 파라미터이다.) 이때 커널의 (채널)개수는 항상 스캔하는 입력 이미지의 채널 개수를 똑같이 따라가야 하므로 고정이다. 출력되는 feature map의 spatial한 크기는 커널이 이동하는 칸수인 stride 에 따라 달라지므로, 커널 사이즈와 stride 에 의존한다. 만약 stride가 (..

활성화 함수 ReLU 는 Sigmoid 함수의 미분값이 작아서 gradient 값이 점차 소멸하는 vanishing gradient 문제를 해결하기 위해 sigmoid 를 대체한 함수이다. 하지만 ReLU 를 사용해도 항상 vanishing gradient가 해결되는 것은 아니다. 이는 데이터의 분산과 관련이 있다. Batch-size를 5라고 하고 특정 노드에 입력 데이터가 들어간다고 했을때, Activation Function으로 비선형 함수인 ReLU 함수를 사용한다고 하자. 데이터가 전부 양수로 들어간다면? Linear activation 처럼 보여서 non-linearlity를 못살리는 문제가 있다. (vanishing gradient는 해결한다고 해도) 데이터가 전부 음수로 들어간다면? 미분값..

[이진 분류문제에서 MLE 를 사용하는 이유] 로지스틱 회귀 모델에서 0과 1사이의 확률 ($q$) 을 예측하여 강아지와 고양이를 분류를 한다고 하자. 예를 들어 모델이 강아지를 예측하도록 하려고 한다면, 로지스틱 회귀 모델의 출력값인 강아지일 확률 $q$ 를 키우는 것이 학습의 목적이다. 반대로 고양이를 예측하려면, 로지스틱 회귀 모델은 고양이일 확률 $1-q$ 를 키우려고 할 것이다. 확률값 q는 입력값$\times $가중치에 시그모이드를 거쳐 계산된 값이므로 가중치 w에 대한 함수로도 볼 수 있다. 이때 모델의 가중치 w를 추정하기 위해서 최대우도추정 기법을 사용한다. 즉, q 또는 1-q를 최대로 만드는 가중치 w를 찾고자 하는 것이 MLE 기법이다. (강아지면 $q$ , 고양이면 $1-q$ 를 ..

Logistic Regression Sigmoid를 이용한 이진분류를 수행하기 위해 Logistic regression의 개념에 대해 알아보자. Logistic Regression은 선형함수에서 logit을 회귀한 것이다. 여기서 Logit은, log-odds 로 odds는 성공 확률과 실패 확률의 비율 (승산) 을 말하고, logit은 odds 에 log 값을 취한 것을 말한다. $$logit=\mathrm{log}\frac{q}{1-q}$$ 로지스틱 회귀에서는 우선 모델의 입력 변수와 가중치의 선형조합으로 모델의 출력값을 계산한다. 입력과 특정 레이블에 속할 확률 사이의 관계를 모델링하기 위해 도입하는 함수가 logit 함수다. 그 다음 logit을 Sigmoid 함수에 통과시켜서 q를 얻고 Los..

Backpropagation 심층 신경망에서는 1. 특정 파라미터(weight/bias) 에 대한 Loss function의 편미분 값인 그래디언트를 구하고, 2. SGD (Stochastic gradient descent) 등의 Optimizer 로 최적의 파라미터를 업데이트한다. 1번에서 신경망의 깊은 곳에 있는 weight 에 대한 편미분을 구하기 위해서는 Chain rule 을 활용해야 하는데, Chain rule은 미분을 뒤로 전달하면서 곱하는 거니까 이 방법을 Backpropagation이라고 한다. 다음과 같은 신경망에서 Backpropagation을 통해 행렬로 표현된 weight 에 대해 loss function 을 미분해보자. 그림의 각 노드에 대해 다음과 같이 식을 쓸 수 있다. $$..