Docker 설치부터 이미지 빌드, 실행까지 🐊

이전 포스트에서 mmsegmentation 버전 문제가 있었다.

그러니까 Github 레포지토리의 어떤 코드를 실행시켜야 하는데 PyTorch 1.x.0과 Cuda 11.6 버전만을 지원하는 코드였다.  그런데 서버(base machine)에 설치된 cuda 버전은 12.1이었기 때문에 호환되는 Pytorch 버전도 2.0.1 이어서 둘다 의존성 문제가 있었다.

 

Base machine cuda, torch 버전

앞으로도 프로젝트 별로 cuda 버전을 다르게 사용하는 일이 번번이 발생할 것 같아서 해결책으로 docker를 사용해보기로 했다.

 

도커는 컨테이너별로 다른 버전의 cuda를 사용할 수 있고, base machine의 GPU도 그대로 사용할 수 있으며 Docker Hub에서 원하는 도커 이미지를 Pull해서 사용하고 추가로 내가 설치하고 싶은 패키지를 설치하고 이를 저장해놓을 수 있다.

정말 편리한데 왜 이제껏 사용 안했나 싶다.

 

설치

나의 환경

• Linux OS Ubuntu 20.04
• Architecture: x86_64

 

1. GPU driver 연결

도커가 NVIDIA GPU를 인식할 수 있도록 NVIDIA Container Toolkit을 이용해서 연결해주는 작업이다. 

NVIDIA Container Toolkit은 자동으로 base machine의 GPU 드라이버를 인식하여 docker container가 실행되면 연결시켜준다.

https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html

Installing the NVIDIA Container Toolkit — NVIDIA Container Toolkit 1.15.0 documentation

 

링크를 따라 아래 명령어를 차례대로 입력해주면 된다.

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sed -i -e '/experimental/ s/^#//g' /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt-get update

sudo apt-get install -y nvidia-container-toolkit

 

2. 이미지 다운로드

위에서 컨테이너를 설치했다면 NVIDIA에서 공식적으로 지원하는 Docker Hub에서 필요한 이미지를 다운받자.

Docker Hub: https://hub.docker.com/r/nvidia/cuda

나는 Cuda 11.1이 필요했기 때문에 이에 해당하는 이미지를 다운받았다. Tags 탭에서 원하는 cuda 버전을 검색하면 여러 이미지들이 나오는데, 나는 11.6.1-cudnn8-runtime-ubuntu20.04 이름의 태그를 다운받았다.

 

원래는 [CUDA버전]-cudnn[버전]-devel-[사용할OS] 이렇게 cudnn과 devel이 들어간 태그를 Pull 해야 한다는 사실을 나중에 알았지만 일단 runtime으로 먼저 시도해보기로..

 

 

3. 컨테이너 실행

도커는 소프트웨어 환경을 '이미지'로 캡슐화한 것인데, 이 이미지를 실제로 실행하는 장소를 'container'라고 한다.

기본적으로 컨테이너는 일시적이며 실행 중에 추가 변경사항을 저장하지 않으면 종료 시에 모든 변경사항이 사라진다. 따라서 이를 저장하기 위해서 commit을 해줘야 한다.

 

이미지를 다운로드 해줬다면 docker images를 하여 다운받은 이미지(nvidia/cuda)를 볼 수 있다.

 

컨테이너 실행

docker run -it --gpus all --name [컨테이너이름] nvidia/cuda:11.6.1-cudnn8-runtime-ubuntu20.04 bash

• -it: 터미널 입력을 위한 옵션, -i(interactive mode)와 -t(TTY)를 동시에 활성화한 것
• --gpus all: base machine의 모든 GPU를 컨테이너에 할당하여 사용할 수 있도록 함
• --name: 컨테이너의 이름 지정

 

컨테이너 상태를 새로운 이미지로 커밋

docker commit [Container이름] [이미지이름]

 

컨테이너 내부에서 설치 및 설정 작업을 마친 후, 다른 터미널에서 컨테이너를 커밋(저장)한다. (새로운 터미널 창을 열고 커밋)

[Container이름], [이미지이름]에는 각각, 방금전 docker run 할 때 설정했던 container 이름(현재 작업중인 컨테이너 이름)과, 변경된 사항을 새로운 이미지로 저장할 때 사용할 이미지 이름을 써주면 된다.

 

 

 

커밋된 이미지로 컨테이너 실행

docker run -it --gpus all [container이름] cuda116 zsh

 

Docker 컨테이너는 기본적으로 종료되더라도 변경 사항을 유지한다. 실행 중에 컨테이너 내부에서 이루어진 모든 변경 사항(예: 파일 생성, 패키지 설치 등)은 컨테이너를 빠져나오더라도(exit) 유지된다!

다음에 동일한 컨테이너를 시작할 때, 마지막으로 종료된 상태로 시작된다. 따라서 매번 수정사항이 생길때마다 커밋할 필요 없이 최종 배포할때만 새로운 이미지로 커밋해도 된다 ✿˘◡˘✿

 

 

중지된 컨테이너 관리하기

 

1. 모든 컨테이너 목록 확인

: 모든 컨테이너(실행 중 및 종료된 것 포함)를 확인한다.

docker ps -a

 

2. 중지된(exit한) 컨테이너 다시 시작

docker start [Container이름]

 

3. 실행중인 컨테이너 접속

docker exec -it [Container이름] zsh

 

4. 컨테이너 중지 없이 빠져나오기

:컨테이너를 중지하지 않고 빠져나오려면 Ctrl + P, Ctrl + Q를 차례로 누른다.

 

5. 기존 컨테이너 삭제 및 재사용

- 모든 컨테이너 중지(exit)

docker stop $(docker ps -aq)

 

- 모든 컨테이너 삭제

docker rm $(docker ps -aq)

 

기타 유용한 명령어

1. 이미지 목록 확인: docker images

2. 현재 실행중인 컨테이너 확인: docker ps

3. 중지된 컨테이너도 포함해서 확인: docker ps -a

4. 특정 컨테이너 로그 확인: docker logs [Container이름]

5. 사용자를 Docker 그룹에 추가

• 현재 사용자를 docker 그룹에 추가하면, sudo 없이도 docker 명령어를 실행할 수 있다.

sudo groupadd docker
sudo usermod -aG docker $USER
newgrp docker
# 이제 sudo 없이 docker 명령어 사용가능한지 확인
docker ps

 

6. 호스트 시스템의 데이터를 Docker 컨테이너로 옮기는 방법

docker cp [호스트데이터경로] [CONTAINER ID]:/container/path

# 여기서 /container/path는 컨테이너 내부의 원하는 경로를 의미함

 

7. Docker 컨테이너 파일을 호스트 시스템으로 옮기는 방법

docker cp [CONTAINER ID]:/container/path [호스트데이터경로]

 

 

 

 

참고 블로그

https://kairosial.tistory.com/97