问与python和文件系统中的字符串编码混淆

EN

您可以阅读Unicode howtos：

• Python 2
• Python 3

简而言之：

这两个Python版本都具有字节数据类型和文本数据类型

# python 2 (without from future import ...):
bytes = "abcd"
text  = u"abcd"

# python 3:
bytes = b"abcd"
text  = "abcd"

没有像普通文本和Unicode文本那样的东西。只是发短信。对于文本，应始终使用Unicode字符串；对于二进制数据，应始终使用字节。

文件存储字节

文件始终是一个字节序列。如果您以文本形式打开文件，Python 3将执行解码。因此，您通常必须指定使用哪种编码：open('file.txt', encoding='utf-8')。例如，在Python2中用io.open做同样的事情是个好主意。

Python源文件包含Unicode文本

对于Python 3，这是规范的一部分:请参阅2. Lexical analysis

Unicode将程序文本读取为

代码点。

但在磁盘上，文件只是字节。同样，Python会将这些字节解码为Unicode文本。要确保Python使用正确的编码，必须声明所使用的编码不同于默认编码(对于Python 2使用ASCII，对于Python 3使用UTF-8 )。

这也告诉您Python如何处理Unicode字符串文字。源代码是一系列Unicode代码点，因此字符串由引号之间的代码点组成。

另一方面，字节文字应该只包含ASCII字符，这些字符映射在字节0-127上。对其他字节使用\x转义。使用其他字符可能会引发SyntaxError。

ASCIIPython2ASCIIOnly指定字符串文字(和注释)可以使用之外的另一种编码。但是，如果您遵循上面的约定，您将在byte和unicode字符串中获得预期的字节和代码点。

…但是文件不存储字节吗？

当然可以。包含Unicode字符序列的文件的概念是abstraction.。这种抽象是leaky的一种方式是需要声明一种编码，该编码指定磁盘上Unicode字符和字节序列之间的映射。文本编辑器必须使用相同的编码来保存源代码。

另一件事是，Python规范并没有准确地将Python源文件定义为由编码的Unicode文本组成。但它是以这样一种方式指定的:在实践中，源文件几乎总是这样的文本文件。这样做的一个后果就是不像eg。JSON，您不能将Python源文件编码为UTF-16。

但除此之外，这种抽象工作得很好。您可以在文本编辑器中键入(或粘贴) Unicode字符，Python中的字符串将包含正确的字符。

test.py

print(unicodedata.name("⛄"))
print(unicodedata.name(""))
print("⛄ ") # this line may not work on your platform

输出：

SNOWMAN WITHOUT SNOW
FACE WITH TEARS OF JOY
⛄ 

(仅当Python知道如何将Unicode打印到平台上的控制台时，才能直接打印字符。在Linux上，它很有可能会正常工作)

在内部，您的文本编辑器将雪人转换为字节，例如。0xe2, 0x9b, 0x84和Python解释器将再次解码这些字节。但是，一旦您使用正确的编码设置了编辑器，这个过程就会隐藏起来，您只能使用Unicode字符。