𝄢 𝄢

1) requires_grad 텐서 객체의 attribute 로, 그래디언트의 계산 여부를 결정한다. requires_grad 속성을 True 로 설정하여 텐서에 대한 그래디언트 계산을 활성화할 수 있다. requres_grad 속성이 False 로 설정된 텐서에 대해서는 그래디언트를 계산하지 않는다. 이를 통해 불필요한 계산을 줄여 연산 속도를 향상시킬 수 있다. 2) 역전파 계산 x=torch.tensor([1.], requires_grad=True) y=x**2 y.retain_grad() z=3*y z.backward() print(x.grad) print(y.grad) x -> x**2 -> 3x**2 순으로 진행되므로 x 에 대해서 3x**2 를 chain rule을 통해 편미분하면 결과는 6..

랜덤 함수 1. torch.randn: 랜덤한 숫자들을 평균이 0, 분산이 1이되도록 normal distribution으로 반환 2. torch.rand: 0부터 1사이 랜덤한 숫자들을 uniform distribution 으로 반환 3. torch.randint(1,5,size=(12,)): 1부터 5미만 12개 정수 모두 원하는 행렬 사이즈로 랜덤한 값들을 생성할 수 있는 함수이다. print(A[A[:,0]

1) Boolean 인덱싱 torch에서 boolean 인덱싱을 활용하면 나중에 transformer 마스킹 등을 할 때 매우 유용하게 쓰일 수 있다고 한다. boolean을 사용하면 True 인 성분만을 가져와서 새로운 행렬을 만들 수도 있다. A[B,:]: B의 각 요소에 대응하는 위치에 있는 A의 행을 선택하여 새로운 텐서를 생성한다. B에서 True 에 해당하는 위치에 있는 A의 행들을 선택해서 새로운 텐서를 만든다. A=torch.tensor([[1,2],[3,4],[5,6],[7,8]]) print(A[ torch.tensor([[False,True],[False,False],[False,False],[False,False]]) ]) print(A[A==2]) print(A[ [True,Fal..

1) 1차원 행렬에 대한 인덱싱과 슬라이싱 기본적으로 torch의 인덱싱과 슬라이싱은 리스트와 동일하게 진행된다. 우선 a[ ] 로 a 옆에 대괄호를 열었다는 것은 a라는 변수에 대해서 인덱싱을 할 것임을 뜻한다. 텐서가 1부터 9까지의 연속적인 1x9 행렬이라고 할 때, 첫 번째부터 순서대로 인덱싱은 0에서 마지막번째 8 이전까지로 인덱스가 지정된다. (파이썬에서 슬라이싱을 할 때, 시작 인덱스는 포함되고 끝 인덱스는 포함되지 않는 범위로 지정된다.) 따라서 인덱스 7은 8번째 숫자이고, 인덱스 7까지 슬라이싱을 하면 8번째 숫자 전까지가 출력된다. 2) 2차원 행렬에 대한 인덱싱과 슬라이싱 A는 3x3 행렬 하나로 이루어진 2차원 텐서 (ndim=2) A([0][2]): 0번째 행의 2번째 요소 A(..

Pytorch는 기본적으로 Numpy 모듈과 사용법이 매우 닮아있다. Numpy 의 함수에 대응되는 pytorch 의 함수들이 꽤 있는데 예를 들면 np.array 는 torch.tensor 와 같다. 하지만 큰 차이점은, 리스트를 생성하는 numpy 와 달리 torch는 행렬을 생성하기 때문에 각 행에 해당하는 숫자의 개수가 같아야 한다. 위에서 torch는 2행 3열 크기의 행렬을 만들었다. 이때 torch를 사용해서 numpy처럼 torch.tensor([1,2],[3,4,5]) 와 같이 쓴다면 첫 번째 열에 2개의 요소밖에 없어서 두 번째 열과 행 개수가 다르기 때문에 오류가 난다. A.shape: 행렬(텐서)의 크기 A.ndim: 텐서의 차원의 수 (바깥의 대괄호 개수) A.size(): 행렬(..