tensorflow v1

설치

개발환경: Ubuntu 20.04.6 LTS

 

1. conda create -n tfv1 python=3.7

(3.8부터는 v1 설치가 지원되지 않는다)

 

2. python -m pip install --upgrade pip

 

3. pip3 install tensorflow==1.15.2

(해당 tensorflow는 cpu용임)

 

4. python3

>> import tensorflow as tf

>> print(tf.__version__)

1.15.2

 

Basic TensorFlow code (v1)

N, D, H = 64, 1000, 1000 # 배치, 차원, 노드
x = tf.placeholder(tf.float32, shape=(N,D))
y = tf.placeholder(tf.float32, shape=(N,D))
init = tf.contrib.layers.xavier_initializer()

# 2-layer perceptron
h = tf.layers.dense(inputs=x, units=H, activation=tf.nn.relu, kernel_initializer=init)
y_pred = tf.layers.dense(inputs=h, units=D, kernel_initializer=init)

# loss 정의, computational graph 마저 형성
loss=tf.losses.mean_squared_error(y_pred,y)
optimizer = tf.train.GradientDescentOptimizer(1e-5)
updates = optimizer.minimize(loss)

 

tensorflow에서 tf.layers 는 layer 종류에 따라 자동적으로 weight 및 bias를 생성해준다.

tf.layers.dense의 경우 dense layer (fc layer + *activation function)에 대한 파라미터를 생성한다.

 

첫번째 레이어: 

 

inputs=x: 레이어의 입력 (입력 노드 개수: D개)

units=H: 출력노드의 개수가 H개 

activation=tf.nn.relu: 노드의 출력에 ReLU 함수를 적용

kernel_initializer=init: 가중치 초기화 방법 적용

 

두번째 레이어:

inputs=h 로 첫번째 레이어의 출력노드만큼 입력으로 받고,

D개의 출력 노드를 가지며, 별도의 활성화 함수는 적용하지 않음

 

TensorFlow v1은 Pytorch나 TensorFlow v2처럼 eager execution을 지원하지 않기때문에 여기까지는 Computational graph를 형성하기 위한 Construction phase 였다. 

 

with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    values = {x: np.random.randn(N, D),
    y: np.random.randn(N, D),}
    losses = []
    for t in range(50):
        loss_val, _ = sess.run([loss, updates],
                               feed_dict=values)
        print(loss_val)

 

이제 tf.Session 으로 감싸서 sess.run을 해주면 위에서 생성한 computational graph의 연산이 실행이 된다.

실행할 연산을 인자로 넘겨줘야 하는데 loss와 updates를 모두 제공함으로써

forward pass와 backward pass 연산 모두 수행하고 있다.