bytes, str, unicode의 차이점

파이썬 3 에서는 bytes, str 두가지 타입으로 문자 시퀀스를 나타낸다. 

bytes 인스턴스는 raw 8비트 값을 저장한다. str 인스턴스는 유니코드 문자를 저장한다. 

 

파이썬 2에서는 str 과 unicode 두 가지 타입으로 문자 시퀀스를 나타낸다. 

파이썬 3 와는 다르게 str 인스턴스는 raw 8비트 값을 저장한다. unicode 인스턴스는 유니코드 문자를 저장한다. 

 

유니코드 문자를 바이너리 데이터(0과 1, 8비트값) 로 표현하는 방법은 많다. 가장 일반적인 인코딩은 UTF-8이다. 

중요한 건 파이썬 3의 str 과 파이썬 2의 unicode 는 연관된 바이너리 인코딩이 없다는 점이다. 

유니코드 문자를 바이너리 데이터로 변환하려면 encode 메서드를 사용해야 한다. 

반대로 bytes를 unicode 문자로 변환하려면 decode 메서드를 사용한다. 

def to_str(bytes_or_str):
    if isinstance(bytes_or_str, bytes):
        value = bytes_or_str.decode('utf-8')
    else:
        value = bytes_or_str
    return value

 

open 함수

파이썬 3에서 내장 함수 open 이 반환하는 파일 핸들을 사용하는 연산은 기본적으로 UTF-8 인코딩을 사용한다. 

파이썬 2에서 파일 연산은 기본적으로 바이너리 인코딩을 사용한다. 

이 차이점은 심각한 문제를 일으킬 수 있으므로 주의해야 한다. 

예를 들어 임의의 바이너리 데이터를 파일에 기록하려 한다고 해보자. 

다음 코드는 파이썬 2에서는 잘 동작하지만, 파이썬 3에서는 동작하지 않는다. 파이썬 2 에서 동작하게 하려면 데이터를 문자 쓰기 모드('w')가 아닌 바이너리 쓰기 모드('wb')로 오픈해야 한다. 

with open('/tmp/random.bin', 'w') as f:
    f.write(os.urandom(10))

>>>>
TypeError: must be str, not bytes

<문자열의 크기>

my_str = "abd"
encoded_bytes = my_str.encode("utf-8")
bit_size = len(encoded_bytes) * 8
print(bit_size)  # 24

위 코드에서 encoded_bytes 는 문자열 "abd"를 "utf-8" 인코딩으로 변환한 바이트를 나타낸다. len(encoded_bytes)는 변환된 바이트의 크기를 바이트 단위로 나타내며, 여기에 8을 곱해주면 비트 크기를 구할 수 있다. 

따라서 문자열 "abd"는 8 바이트, 24비트 크기를 가지고 있음을 알 수 있다.