nn.Linear

 

Fully connected layer

nn.Linear(입력노드 개수, 출력노드 개수)

 

 

위의 문서를 보면,

nn.Linear() 에서 입력 벡터 $x$ 와 가중치 벡터 $w$ 를 곱해줄 때, 가중치 $w$에 transpose를 취해줘서 곱해준다.

그 이유는 무엇일까?

 

mlp 에서 노드는 채널을 의미한다. 

nn.Linear 는 입력으로 1D data가 들어오길 기대하는데,

데이터를 여러 개 통과시킬 때 특정 채널 수를 가진 데이터 n개를 (개수n $\times$ 채널) 형태로 통과시켜야 한다.

 

weight 또한 (개수x채널) 형태로 표현해주자.

일단 weight의 채널은 앞에 있는 노드의 채널이랑 맞춰야 해서 가중치의 채널은 입력 노드의 채널수로 정해진 상태이다.

 

예를 들어 nn.Linear(3,2) 으로 입력 노드 3개에서 출력 노드 2개를 만든다고 할 때,

가중치의 채널 크기는 3이다. (=입력노드의 채널수, 가중치의 채널수는 입력노드의 채널수와 일치)

그리고 3채널을 가지고 2개의 노드를 만드는 거라서 개수는 2개가 된다.

즉, weight의 shape은 2x3(개x체) 가 된다.

입력 노드의 shape 이 1x3 이라고 한다면 행렬의 곱셈을 위한 크기를 맞춰주기 위해 가중치에 꼭 transpose를 해줘서

shape을 3x2로 맞춰줘야 하는것이다. 

 

 

• nn.Linear(3,2): 입력 노드 3개, 출력 노드 2개인 레이어를 가진 모델
• 입력 텐서: 3개의 채널을 가진 데이터 5개 
• 출력 텐서: 2개의 채널을 가진 데이터 5개
• $\textbf{w}$ 텐서: 3개의 채널을 가진 데이터 (가중치 세트) 2개

이를 그림으로 나타내면 다음과 같다. 

nn.Linear(3,2) 에서 데이터 개수는 얼마든지 바뀔 수 있지만 (원하는 데이터 개수 만큼)

채널수는 맞춰줘야 한다.