正文

揭秘常见变长字节编码算法：UTF-8、UTF-16、UTF-32实战代码解析

/0 浏览量
1022

在计算机科学中，字符编码是至关重要的，它决定了计算机如何存储和传输文本数据。随着互联网的普及和全球化的发展，支持多语言、多字符集的编码算法变得尤为重要。UTF-8、UTF-16和UTF-32是三种常见的变长字节编码算法，它们各自有不同的特点和适用场景。本文将深入探讨这三种编码算法的工作原理，并通过实战代码进行解析。

UTF-8编码算法

UTF-8是一种变长字节编码，它用1到4个字节表示一个符号。UTF-8的特点是兼容ASCII编码，因此对于英文文本，UTF-8和ASCII编码是相同的。

UTF-8编码原理

UTF-8的编码规则如下：

  • 对于单字节的符号，使用对应的字节。
  • 对于多字节的符号，第一个字节的前n位为1，第n+1位为0，后面跟随n个0。其余字节的前两位均为10。

实战代码解析

以下是一个使用Python实现的UTF-8编码和解码的例子：

def utf8_encode(char):
    if ord(char) < 128:
        return char
    elif ord(char) < 2048:
        return chr(192 + (ord(char) >> 6)) + chr(128 + (ord(char) & 63))
    else:
        return chr(224 + (ord(char) >> 12)) + chr(128 + ((ord(char) >> 6) & 63)) + chr(128 + (ord(char) & 63))

def utf8_decode(bytes, start=0):
    end = len(bytes)
    char = ''
    if (end - start) % 3 != 0:
        raise ValueError('Invalid UTF-8 sequence')
    while start < end:
        byte1 = bytes[start]
        if (byte1 & 0x80) == 0:
            char += chr(byte1)
            start += 1
        elif (byte1 & 0xE0) == 0xC0:
            byte2 = bytes[start + 1]
            char += chr((byte1 & 0x1F) << 6 | (byte2 & 0x3F))
            start += 2
        elif (byte1 & 0xF0) == 0xE0:
            byte2 = bytes[start + 1]
            byte3 = bytes[start + 2]
            char += chr((byte1 & 0x0F) << 12 | (byte2 & 0x3F) << 6 | (byte3 & 0x3F))
            start += 3
    return char

# 测试UTF-8编码和解码
text = '你好，世界！'
encoded_text = utf8_encode(text)
decoded_text = utf8_decode(encoded_text.encode('utf-8'))

print('Original text:', text)
print('Encoded text:', encoded_text)
print('Decoded text:', decoded_text)

UTF-16编码算法

UTF-16是一种变长字节编码，它用2个或4个字节表示一个符号。UTF-16的特点是兼容Unicode编码，能够表示所有Unicode字符。

UTF-16编码原理

UTF-16的编码规则如下：

  • 对于单字节的符号，使用对应的字节。
  • 对于超过单字节范围的符号，使用2个字节，其中第一个字节的高位为1，低位为0，第二个字节的高位为0。
  • 对于超过双字节范围的符号，使用4个字节，其中第一个字节的高位为1，第二、三字节的高位为1，第四字节的高位为0。

实战代码解析

以下是一个使用Python实现的UTF-16编码和解码的例子：

def utf16_encode(char):
    code_point = ord(char)
    if code_point < 0x10000:
        return char.encode('utf-16')
    else:
        code_point -= 0x10000
        return (chr((code_point >> 10) + 0xD800) +
                chr((code_point & 0x3FF) + 0xDC00)).encode('utf-16')

def utf16_decode(bytes):
    end = len(bytes)
    char = ''
    while end >= 2:
        byte1 = bytes[0]
        byte2 = bytes[1]
        if (byte1 & 0xC0) == 0x80 and (byte2 & 0xC0) == 0x80:
            char += chr((byte1 & 0x3F) << 6 | (byte2 & 0x3F))
            end -= 2
        else:
            break
    return char

# 测试UTF-16编码和解码
text = '你好，世界！'
encoded_text = utf16_encode(text)
decoded_text = utf16_decode(encoded_text)

print('Original text:', text)
print('Encoded text:', encoded_text.decode('utf-16'))
print('Decoded text:', decoded_text)

UTF-32编码算法

UTF-32是一种定长字节编码，它用4个字节表示一个符号。UTF-32的特点是简单直接，但会浪费大量空间。

UTF-32编码原理

UTF-32的编码规则如下：

  • 对于所有符号，使用4个字节，其中每个字节的高位为0。

实战代码解析

以下是一个使用Python实现的UTF-32编码和解码的例子：

def utf32_encode(char):
    return char.encode('utf-32')

def utf32_decode(bytes):
    return bytes.decode('utf-32')

# 测试UTF-32编码和解码
text = '你好，世界！'
encoded_text = utf32_encode(text)
decoded_text = utf32_decode(encoded_text)

print('Original text:', text)
print('Encoded text:', encoded_text)
print('Decoded text:', decoded_text)

通过以上实战代码解析，我们可以清晰地了解UTF-8、UTF-16和UTF-32三种编码算法的工作原理。在实际应用中，选择合适的编码算法需要根据具体需求和场景进行权衡。

-- 展开阅读全文 --