wandb 설치, 로그인

머신러닝 실험 관리 툴에는 TensorBoard, Weights & Biases가 있다. 오늘은 Weights&Biases에 대해 소개한다.

 

 

 

wandb는 딥러닝 실험 과정에서 생길 수 있는 다양한 수치들 (예. loss function, metric)을 편리하게 시각화하고 트랙킹하기 좋은 툴이다. 이름에 있는 W와 B는 딥러닝에서 흔히 사용하는 W(가중치), b(편향)을 뜻한다. Weights and biases를 줄여서 wandb라고 부른다.

wandb를 사용하면 더 빠른 모델 빌드가 가능하고, training progress를 빠짐없이 시각화 가능하다. - architecture, hyperparameter, weights, model prediction, GPU usage, git commits, dataset

 

 

 

이러한 실험을 5줄의 코드로 가능할까?! ---> "W&B"로 가능하다!

 

 

 

<Weights & Biases 가 할 수 있는 일>

• 학습 시 사용된 하이퍼 파라미터들을 저장할 수 있음 
• 학습했던 각 실험들을 탐색하고, 비교하고, 시각화할 수 있음
• 학습 환경의 시스템을 어떻게 사용하고 있는지 분석할 수 있음
• 다른 사람들과 협업할 수 있음 (동료와 했던 실험을 공유하거나 토론할 때, 결과 이미지를 캡쳐해서 보내야 하는 등의 불편함 해결)
• 과거 실험 결과들을 복제할 수 있음
• 하이퍼 파라미터 튜닝이 가능함
• 실험했던 모든 기록들을 영구적으로 저장할 수 있음
• Gradient flow, GPU system 모니터링 등

import wandb

# 1. Start a W&B run
wandb.init(project='gpt3')

# 2. Save model inputs and hyperparameters
config = wandb.config
config.learning_rate = 0.01

# Model training code here ...

# 3. Log metrics over time to visualize performance
for i in range (10):
    wandb.log({"loss": loss})

• wandb 로그인

wandb login

 

• wandb.config

wandb.init()
wandb.config.epochs = 4
wandb.config.batch_size = 32
wandb.config.learning_rate = 0.001
wandb.config.architecture = "resnet"

 

머신 러닝 모델의 여러 하이퍼파라미터와 아키텍처 등을 추적(Tracking📈)하기 위해서 wandb를 설정하는 코드이다.

wandb 초기화를 위해 wandb.init()으로 시작한다. 이는 wandb 시스템을 초기화하여 실험 추적을 시작하게 한다.

초기화한 후, wandb.config를 사용해 여러 하이퍼파라미터(epochs, batch_size, learning_rate)와 아키텍처를 설정할 수 있다. 이러한 설정들은 머신 러닝 모델이나 학습 과정의 다양한 파라미터를 기록하는 데 사용된다.

 

• PyTorch framework와 integration하기 (framework-agnostic)

import wandb

# 1. Start a new run
run = wandb.init(project="gpt4")

# 2. Save model inputs and hyperparameters
config = run.config
config.dropout = 0.01

# 3. Log gradients and model parameters
run.watch(model)
for batch_idx, (data, target) in enumerate(train_loader):
    ...
    if batch_idx % args.log_interval == 0:
        # 4. Log metrics to visualize performance
        run.log({"loss": loss})

 

wandb는 다양한 머신러닝 프레임워크와 사용가능한데, 위의 예제는 PyTorch를 사용한 예시이다.

우선 wandb를 import하고 wandb.init()을 호출하여 초기화를 해준다. 이때 프로젝트 이름을 입력해준다.

run.config을 사용하여 모델의 하이퍼파라미터를 설정한다. 

run.watch(model)을 사용하여 Pytorch 모델의 그래디언트를 자동으로 logging하고 네트워크 architecture를 저장한다.

training loop에서는 각 batch에 대해 해당 작업을 수행한다. 특정 간격(args.log_interval)마다 손실과 같은 중요한 metric을 run.log({"loss": loss})를 사용하여 로깅한다.

이렇게 함으로써, wandb는 pytorch 를 사용하는 동안 모델의 성능, 하이퍼파라미터, 그리고 gradient flow등을 추적하고 시각화할 수 있게 해준다.

 

참고자료

https://github.com/wandb/examples

GitHub - wandb/examples: Example deep learning projects that use wandb's features.

 

 

https://docs.wandb.ai/?_gl=1*czvso2*_ga*MzgzNjU3NTcwLjE2OTY0MDM1NTk.*_ga_JH1SJHJQXJ*MTcwMTIyMDEwMS4yNi4wLjE3MDEyMjAxMDEuNjAuMC4w

W&B Docs | Weights & Biases Documentation