딥러닝 입문서 추천: 혁펜하임의 《Easy! 딥러닝》 리뷰

요즘 AI 딥러닝 분야에 관심을 갖는 분들이 늘고 있지만, 어디서부터 시작해야 할지 막막해하시는 경우가 많습니다.

 

수많은 딥러닝 책 중에서 초보자의 눈높이를 맞추면서도 전공자의 깊이까지 이해시켜주는 책을 찾기란 쉽지 않은데요, 

그런 점에서, 최근 읽은 혁펜하임의 《Easy! 딥러닝》 은 이런 고민을 단번에 해결해주는 책이었습니다.

 

이 책의 저자인 혁펜하임 님은 이미 딥러닝 강의로 유명한 만큼, 책에서도 복잡한 개념을 직관적으로 풀어내는 능력이 돋보입니다.

어려운 수식을 나열하기보다는, 쉽고 명확한 비유와 그림을 활용해 독자가 개념을 이해하도록 돕는 점이 인상적이었습니다.

 

기초 개념부터 최신 AI 모델까지 자연스럽게 연결되는 흐름 덕분에, 딥러닝을 처음 배우는 사람뿐만 아니라, 기존의 개념을 정리하고 싶은 전공자에게도 유익한 책이라는 생각이 들었습니다.

 

---

오늘의 정리: 《Easy! 딥러닝》 챕터 3

챕터 3에서는 MLP(Multi-Layer Perceptron), 역전파(Backpropagation) 등 딥러닝의 내부 핵심 요소들에 대한 설명이 나옵니다.

MLP

MLP는 입력(Input) 레이어, 출력(Output) 레이어, 그리고 하나 이상의 히든(Hidden) 레이어로 구성된 신경망입니다.

모든 레이어가 완전연결층(Fully Connected, FC)으로 이루어져 있다는 점이 특징입니다.

FC 레이어

FC 레이어란 각 노드가 다음 층의 모든 노드와 연결된 구조를 의미합니다.
즉, 이전 레이어의 출력을 받아 가중치(Weight)와 곱한 후 바이어스(Bias)를 더하는 연산이 이루어집니다.

 

《MLP의 동작 방식>

MLP에서 데이터가 처리되는 방식은 다음과 같습니다:

 

1. 입력 행렬과 가중치 행렬의 곱

• 각 입력 노드는 해당 가중치를 곱하여 다음 층으로 전달됩니다.

2. 바이어스 추가

• 각 뉴런에는 바이어스 값이 더해지며, 이는 뉴런의 활성화 여부를 조절하는 역할을 합니다.

3. 활성화 함수 적용

• 비선형 활성화 함수(예: ReLU, Sigmoid, Tanh 등)를 통해 비선형성을 부여합니다.
• 이를 통해 신경망이 단순한 선형 모델이 아닌 복잡한 패턴을 학습할 수 있도록 돕습니다.

이러한 과정이 각 층을 거치면서 반복적으로 수행되며, 최종적으로 출력층에서 원하는 예측 값을 얻게 됩니다.

 

 

 

왜 비선형 활성화 함수가 필요할까?

 

MLP를 행렬 연산으로 표현하면, 입력 벡터 x에 대한 함수로 볼 수 있습니다.

즉, MLP는 결국 x를 변환하는 함수이며, 이 함수가 얼마나 복잡한 관계를 표현할 수 있는지가 중요합니다.

그런데, 모든 층에서 선형 활성화 함수를 사용하면, 아무리 깊은 층을 쌓아도 결국 단일 FC 레이어와 동일한 복잡도를 갖게됩니다.

이를 수식으로 살펴보겠습니다.

1. 단순한 선형 변환을 여러 층에 걸쳐 사용하는 경우

 

$$f_2(f_1(x)) = f_2(xW_1 + b_1) = (xW_1 + b_1)W_2 + b_2$$

 

이를 전개하면,

$$(x W_1 + b_1) W_2 + b_2 = x (W_1 W_2) + (b_1 W_2 + b_2)$$

 

여기서,

- $( W_1 W_2)$를 하나의 새로운 가중치 $W$로 치환

- $b_1 W_2 + b_2$를 새로운 바이어스 $b$로 치환하면

 

결국

$$xW+b$$

즉, 아무리 층을 많이 쌓아도 결과적으로 단일 FC 레이어(완전연결층)와 동일한 수식이 나옵니다.
이는 신경망의 깊이가 의미 없다는 것을 의미합니다.

→ 결론: 선형 변환만으로는 네트워크를 깊게 만들더라도 함수가 복잡한 관계를 표현할 수 없다!

이 문제를 해결하려면 각 층에서 비선형성을 추가해야 합니다.

즉, 선형연산인 $xW+b$를 그대로 사용하는 것이 아니라, 비선형 활성화 함수 $f(x) = \sigma(xW + b)$ 를 적용해야 합니다.

 

이렇게 하면, 네트워크를 깊게 만들수록 층마다 새로운 비선형 변환이 적용되어, 단순한 선형 연산으로 표현할 수 없는 복잡한 함수 학습이 가능해집니다.

 

💡 즉, 활성화 함수가 없다면 신경망은 단순한 선형 모델에 불과하며, 깊어져도 의미가 없습니다.
하지만 비선형 활성화 함수를 추가하면 신경망이 점점 더 복잡한 관계를 학습할 수 있게 됩니다.

 

---

 

선형 vs. 비선형 액티베이션의 역할

 

하지만 선형 액티베이션이 필요없는 액티베이션은 아닙니다.

회귀 문제에서는 출력값의 범위가 제한되지 않아야 하므로, 마지막 층에 선형 액티베이션을 사용합니다.

 

선형 액티베이션은 주로 노드 수가 줄어드는 층에서 정보 손실을 피하기 위해 사용하고, 

비선형 액티베이션은 네트워크의 복잡도를 높이므로 입력과 출력 사이의 복잡한 관계를 표현할 수 있지만 정보 손실을 야기할 수 있습니다.

따라서, 현대 딥러닝 모델 설계에서는 이 둘의 장단점을 고려하여 적절히 조합하여 사용합니다.
이를 통해, 복잡한 패턴을 잘 학습하면서도 중요한 정보를 보존할 수 있는 균형 잡힌 모델을 만들 수 있습니다.

 

---

 

《Easy! 딥러닝》 은 초보자도 이해하기 쉽고, 전공자도 다시 한 번 개념을 정리하기 좋은 책입니다.
특히 비선형 활성화 함수가 신경망의 핵심적인 요소라는 점을 강조하며, MLP의 동작 방식과 한계를 명확하게 짚어줍니다.

딥러닝을 처음 배우는 분들이라면, 이 책을 통해 기본 개념을 확실히 다지고 실습을 병행하며 학습을 진행하는 것을 추천합니다.

 

 

 

 

 

본 게시글은 혁펜하임의 <Easy! 딥러닝> 책의 리뷰어 활동으로 작성되었습니다.
도서 구매 링크 1 (교보문고): https://product.kyobobook.co.kr/detail/S000214848175
도서 구매 링크 2 (출판사 자사몰): https://shorturl.at/yqZpW