𝄢 𝄢

도커를 실행시키고 컨테이너 소프트웨어 환경에 접속하여 개발하는 방법을 다루고자 한다. Extension 설치 (Dev Containers) Remote Development라는 extension을 설치하려고 했는데 extension에 나오지 않아서 그대신 Dev Containers를 설치했다. F1을 눌러서 일단 'Remote-SSH: 호스트에 연결' 을 해주고 Dev Containers: Attach to Running Container...를 클릭하여 접속할 컨테이너를 선택해준다.    그다음 container에 저장한 code를 열기 위해 위에 파일 경로를 입력해주면 이동할 수 있다.

이전 포스트에서 mmsegmentation 버전 문제가 있었다.그러니까 Github 레포지토리의 어떤 코드를 실행시켜야 하는데 PyTorch 1.x.0과 Cuda 11.6 버전만을 지원하는 코드였다.  그런데 서버(base machine)에 설치된 cuda 버전은 12.1이었기 때문에 호환되는 Pytorch 버전도 2.0.1 이어서 둘다 의존성 문제가 있었다. Base machine cuda, torch 버전앞으로도 프로젝트 별로 cuda 버전을 다르게 사용하는 일이 번번이 발생할 것 같아서 해결책으로 docker를 사용해보기로 했다. 도커는 컨테이너별로 다른 버전의 cuda를 사용할 수 있고, base machine의 GPU도 그대로 사용할 수 있으며 Docker Hub에서 원하는 도커 이미지를 Pul..

mmcv-full과 mmsegmentation 설치를 할때 아래와 같이 진행했다.pip install mmcv-full==1.3.0 mmsegmentation==0.11.0  그런데 train 코드를 실행하는데 다음과 같은 오류가 떴다.ModuleNotFoundError: No module named 'mmcv._ext' 서치를 해본 결과 mmcv를 uninstall 하고 다시 mmcv-full을 설치하여 해결했다는 글을 보고pip uninstall mmcv를 했지만 warning 문구가 뜨면서 uninstall이 안되었다. 그래서 그냥 가상환경을 새로 만들고 torch 설치부터 mmcv, mmsegmentation을 다시 설치하기로 했다. mmcv 공식 문서를 보니 installation instruc..

설치 개발환경: Ubuntu 20.04.6 LTS 1. conda create -n tfv1 python=3.7 (3.8부터는 v1 설치가 지원되지 않는다) 2. python -m pip install --upgrade pip 3. pip3 install tensorflow==1.15.2 (해당 tensorflow는 cpu용임) 4. python3 >> import tensorflow as tf >> print(tf.__version__) 1.15.2 Basic TensorFlow code (v1) N, D, H = 64, 1000, 1000 # 배치, 차원, 노드 x = tf.placeholder(tf.float32, shape=(N,D)) y = tf.placeholder(tf.float32, sha..

함수나 메소드 이름 앞에 언더스코어('_') 하나가 붙는 것은 일반적으로 그 함수나 메소드가 내부적(Internal)으로 사용되는 것임을 나타낸다. 이러한 규칙은 파이썬의 네이밍 컨벤션에서 비롯된 것으로 다음과 같은 의미를 가진다. 1. 내부 사용을 위한 것: 이는 해당 함수나 메소드가 클래스나 모듈의 내부 구현에 속하며, 클래스나 모듈 외부에서 직접적으로 사용되기보다는 클래스나 모듈 내부에서 사용될 것임을 의미합니다. 다시 말해, 이는 일종의 구현 세부사항을 나타내며, 클래스나 모듈의 공개 인터페이스의 일부가 아닙니다. 2. 보호된 멤버(protected member): 언더스코어가 앞에 붙은 멤버는 파이썬에서 protected member로 간주된다. 이는 서브클래스에서는 접근 가능하지만, 클래스 외..

torch.log_softmax 함수는 softmax 함수에 log를 취한 것과 같다. softmax와 Log 두 연산을 따로 수행하는 것보다 log_softmax를 통해 한번에 수행하는 것이 더 빠르고 수치적으로 안정적이라고 한다. 위 코드를 보면 랜덤으로 생성한 3x5 텐서 x에 softmax를 취하고 log를 취한 결과나, log_softmax를 취한 결과나 동일하다는 것을 알 수 있다. 정리하면 log_softmax는 다중분류 문제에서 logit에 softmax 취한 다음 0과 1사이의 확률로 변환하는 함수이다.

머신러닝 실험 관리 툴에는 TensorBoard, Weights & Biases가 있다. 오늘은 Weights&Biases에 대해 소개한다. wandb는 딥러닝 실험 과정에서 생길 수 있는 다양한 수치들 (예. loss function, metric)을 편리하게 시각화하고 트랙킹하기 좋은 툴이다. 이름에 있는 W와 B는 딥러닝에서 흔히 사용하는 W(가중치), b(편향)을 뜻한다. Weights and biases를 줄여서 wandb라고 부른다. wandb를 사용하면 더 빠른 모델 빌드가 가능하고, training progress를 빠짐없이 시각화 가능하다. - architecture, hyperparameter, weights, model prediction, GPU usage, git commits, ..

MacOS, Unix, Linux 기준으로 pip 사용법은 아래와 같이 정리할 수 있다.  pip install [options] [package-index-options] ...pip install [options] -r [package-index-options] ...pip install [options] [-e] ...pip install [options] [-e] ...pip install [options] ... 옵션들-r : r은 requirement라는 의미로, requirements.txt 파일에 지정된 패키지들을 설치한다. 특정 패키지 버전으로 환경을 설정할 때 자주 사용한다.-e : e는 editable의 의미로, 패키지를 편집 가능한 모드로 설치한다. path 위치에 '.' ..