将json.dumps中的utf-8文本保存为UTF8，而不是 u转义序列

Saving utf-8 texts in json.dumps as UTF8, not as u escape sequence

样例代码：

1
2
3
4

>>> import json
>>> json_string = json.dumps("??? ????")
>>> print json_string
"\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4"

问题是：它不是人类可读的。我的(智能)用户希望使用JSON转储来验证甚至编辑文本文件。(我宁愿不使用XML)

是否有方法将对象序列化为utf-8 json字符串(而不是uxxxx)？

这没有帮助：

1 2	>>> output = json_string.decode('string-escape') "\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4"

这是可行的，但是如果任何子对象是python unicode而不是utf-8，它将转储垃圾：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

>>> #### ok:
>>> s= json.dumps("??? ????", ensure_ascii=False)
>>> print json.loads(s)
??? ????

>>> #### NOT ok:
>>> d={ 1:"??? ????", 2: u"??? ????" }
>>> print d
{1: '\xd7\x91\xd7\xa8\xd7\x99 \xd7\xa6\xd7\xa7\xd7\x9c\xd7\x94',
2: u'\xd7\x91\xd7\xa8\xd7\x99 \xd7\xa6\xd7\xa7\xd7\x9c\xd7\x94'}
>>> s = json.dumps( d, ensure_ascii=False, encoding='utf8')
>>> print json.loads(s)['1']
??? ????
>>> print json.loads(s)['2']
××¨× ×|×§××

相关讨论

使用ensure_ascii=False开关切换到json.dumps()，然后手动将值编码为utf-8：

1
2
3
4
5

>>> json_string = json.dumps(u"??? ????", ensure_ascii=False).encode('utf8')
>>> json_string
'"\xd7\x91\xd7\xa8\xd7\x99 \xd7\xa6\xd7\xa7\xd7\x9c\xd7\x94"'
>>> print json_string
"??? ????"

如果要将此写入文件，可以使用io.open()而不是open()生成一个在写入时为您编码unicode值的文件对象，然后使用json.dump()而不是写入该文件：

1 2	with io.open('filename', 'w', encoding='utf8') as json_file: json.dump(u"??? ????", json_file, ensure_ascii=False)

在python 3中，内置的open()是io.open()的别名。请注意，json模块中有一个bug，其中ensure_ascii=False标志可以生成unicode和str对象的混合。然后，python 2的解决方法是：

1
2
3
4

with io.open('filename', 'w', encoding='utf8') as json_file:
data = json.dumps(u"??? ????", ensure_ascii=False)
# unicode(data) auto-decodes data to unicode if str
json_file.write(unicode(data))

如果要传入字节字符串(在python 2中键入str，在python 3中键入bytes，编码为utf-8，请确保还设置encoding关键字：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

>>> d={ 1:"??? ????", 2: u"??? ????" }
>>> d
{1: '\xd7\x91\xd7\xa8\xd7\x99 \xd7\xa6\xd7\xa7\xd7\x9c\xd7\x94', 2: u'\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4'}

>>> s=json.dumps(d, ensure_ascii=False, encoding='utf8')
>>> s
u'{"1":"\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4","2":"\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4"}'
>>> json.loads(s)['1']
u'\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4'
>>> json.loads(s)['2']
u'\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4'
>>> print json.loads(s)['1']
??? ????
>>> print json.loads(s)['2']
??? ????

请注意，您的第二个示例不是有效的Unicode；您将utf-8字节作为Unicode文本提供给它，但这将永远无法工作：

1
2
3
4
5

>>> s = u'\xd7\x91\xd7\xa8\xd7\x99 \xd7\xa6\xd7\xa7\xd7\x9c\xd7\x94'
>>> print s
××¨× ×|×§××
>>> print s.encode('latin1').decode('utf8')
??? ????

只有当我将该字符串编码为拉丁文1(其Unicode代码点将一对一映射到字节)然后解码为UTF-8时，您才能看到预期的输出。这与JSON无关，与使用错误的输入有关。结果被称为mojibake。

如果您从字符串文字中获得该Unicode值，则使用错误的编解码器对其进行解码。可能是您的终端配置错误，或者您的文本编辑器使用不同于您告诉Python读取文件的编解码器保存了源代码。或者您从应用了错误编解码器的库中获得它。这一切都与JSON库无关。

相关讨论

你的第二个例子是错误的：它没有给出广受欢迎的输出。只需在python 2.7.4中进行双重验证。我的第二个示例也丢失了一行-所以我修复了它。
@Berrytsakala：这是在python 2.7.5上运行的，它的工作方式取决于输入str。
@Berrytsakala：如果输入字符串使用不同的编码，则需要将其指定给encoding参数；您可以测试print d['2'].decode(your_suspected_encoding)并验证使用的编码是否正确。
@Berrytsakala：但是您真正应该做的是确保所有字符串都是Unicode的，然后才将它们馈送到json库。
@啊，不，你给了你的unicode值垃圾。不能在Unicode字符串文本中使用UTF-8字节。
如果我这样做，json.dump([1], io.open(u'1.json', u'w', encoding=u'utf-8'))，我得到TypeError关于unicode和str。知道怎么修吗？没有涉及字节字符串，但它是一个Unicode错误。
@思源人：默认情况下，json.dump()调用会生成一个字节字符串，但您的io.open()调用会生成一个需要Unicode字符串的文件对象。如果需要unicode字符串，或者不使用io.open()，则设置ensure_ascii=False，或者使用io.open('1.json', 'wb')(无编码)以二进制模式打开文件。如果没有ensure_ascii=False，数据就已经被编码了。
@马蒂：我知道。这似乎与您所说的"如果您要将此写入文件，则可以使用io.open()而不是open()来生成一个文件对象，该对象在写入时为您编码Unicode值"。同样奇怪的是，为什么json的行为是这样的。
@四元仁：为什么很奇怪？JSON标准明确规定数据应编码为UTF-8、UTF-16或UTF-32。
@四元仁：我的io.open()线用ensure_ascii=False。
@马蒂·皮耶特：埃多克斯1〔17〕给出了同样的错误。这很奇怪，因为标准库的许多其他部分在使用unicode流时没有问题，而且因为json.load可以处理io.open而没有任何问题。
@四元仁：啊！当你不给图书馆任何文本时，它似乎有问题。你通过了[1]，这只是一个带数字的列表。如果传入[u'1']，则生成unicode。这是相当不一致的，我认为这是一个错误。
@思源人：适用的python bug报告：bugs.python.org/issue13769
在python 3.3.5上，我只需要在json.dumps()调用中附加secure_scii=false。无需额外的数据消除/编码。
@LKRAAV：是的，这是意料之中的，但在所有特定于python-2的东西中，这可能都有点丢失。
我正在为API服务器使用flask，只有这个答案对我有帮助。烧瓶真的吸了我。
@Juhongjung:jsonify()生成一个完整的响应对象；如果需要更多的控制，使用flask.json.dumps()，然后自己将其包装在Response对象中。
编码参数在json.dumps()上不再可用
@MSR：它在python 2中，这就是这个问题涉及的内容。您必须使用python 3。
你救了我的命，谢谢！

写入文件

1
2
3
4
5
6
7
8
9

import codecs
import json

with codecs.open('your_file.txt', 'w', encoding='utf-8') as f:
json.dump({"message":"xin chào vi?t nam
<div class="suo-content">[collapse title=""]<ul><li>语法错误：文件json-utf8.py第5行中有非ASCII字符'xc3'，但未声明编码；有关详细信息，请参阅python.org/dev/peps/pep-0263。</li><li>谢谢您！我没想到这么简单。如果要转换为JSON的数据是不受信任的用户输入，则只需小心。</li><li>@亚历克斯，你知道如何避免这个问题了吗？</li><li>@坦率地说，我不记得了。把代码片段放在一边并不重要：(</li><li>最好的尝试，超级</li></ul>[/collapse]</div><p><center>[wp_ad_camp_1]</center></p><hr><P>更新：这是一个错误的答案，但是理解它的错误原因仍然很有用。请参阅评论。</P><P>埃多克斯1〔14〕怎么样？</P>[cc lang="python"]>>> d = {1:"??? ????", 2: u"??? ????"}
>>> json_str = json.dumps(d).decode('unicode-escape').encode('utf8')
>>> print json_str
{"1":"??? ????","2":"??? ????"}

相关讨论

Peters的python 2解决方案在边缘情况下失败：

1
2
3
4
5
6
7
8
9
10

d = {u'keyword': u'bad credit \xe7redit cards'}
with io.open('filename', 'w', encoding='utf8') as json_file:
data = json.dumps(d, ensure_ascii=False).decode('utf8')
try:
json_file.write(data)
except TypeError:
# Decode data to Unicode first
json_file.write(data.decode('utf8'))

UnicodeEncodeError: 'ascii' codec can't encode character u'\xe7' in position 25: ordinal not in range(128)

它在第3行的.decode("utf8")部分崩溃。我通过避免该步骤以及ASCII的特殊大小写使程序变得更简单来解决这个问题：

1
2
3
4
5
6

with io.open('filename', 'w', encoding='utf8') as json_file:
data = json.dumps(d, ensure_ascii=False, encoding='utf8')
json_file.write(unicode(data))

cat filename
{"keyword":"bad credit ?redit cards"}

相关讨论

The following is my understanding var reading answer above and google.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70

# coding:utf-8
r"""
@update: 2017-01-09 14:44:39
@explain: str, unicode, bytes in python2to3
#python2 UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 7: ordinal not in range(128)
#1.reload
#importlib,sys
#importlib.reload(sys)
#sys.setdefaultencoding('utf-8') #python3 don't have this attribute.
#not suggest even in python2 #see:http://stackoverflow.com/questions/3828723/why-should-we-not-use-sys-setdefaultencodingutf-8-in-a-py-script
#2.overwrite /usr/lib/python2.7/sitecustomize.py or (sitecustomize.py and PYTHONPATH=".:$PYTHONPATH" python)
#too complex
#3.control by your own (best)
#==> all string must be unicode like python3 (u'xx'|b'xx'.encode('utf-8')) (unicode 's disappeared in python3)
#see: http://blog.ernest.me/post/python-setdefaultencoding-unicode-bytes

#how to Saving utf-8 texts in json.dumps as UTF8, not as \u escape sequence
#http://stackoverflow.com/questions/18337407/saving-utf-8-texts-in-json-dumps-as-utf8-not-as-u-escape-sequence
"""

from __future__ import print_function
import json

a = {"b": u"中文"} # add u for python2 compatibility
print('%r' % a)
print('%r' % json.dumps(a))
print('%r' % (json.dumps(a).encode('utf8')))
a = {"b": u"中文"}
print('%r' % json.dumps(a, ensure_ascii=False))
print('%r' % (json.dumps(a, ensure_ascii=False).encode('utf8')))
# print(a.encode('utf8')) #AttributeError: 'dict' object has no attribute 'encode'
print('')

# python2:bytes=str; python3:bytes
b = a['b'].encode('utf-8')
print('%r' % b)
print('%r' % b.decode("utf-8"))
print('')

# python2:unicode; python3:str=unicode
c = b.decode('utf-8')
print('%r' % c)
print('%r' % c.encode('utf-8'))
"""
#python2
{'b': u'\u4e2d\u6587'}
'{"b":"\\u4e2d\\u6587"}'
'{"b":"\\u4e2d\\u6587"}'
u'{"b":"\u4e2d\u6587"}'
'{"b":"\xe4\xb8\xad\xe6\x96\x87"}'

'\xe4\xb8\xad\xe6\x96\x87'
u'\u4e2d\u6587'

u'\u4e2d\u6587'
'\xe4\xb8\xad\xe6\x96\x87'

#python3
{'b': '中文'}
'{"b":"\\u4e2d\\u6587"}'
b'{"b":"\\u4e2d\\u6587"}'
'{"b":"中文"}'
b'{"b":"\xe4\xb8\xad\xe6\x96\x87"}'

b'\xe4\xb8\xad\xe6\x96\x87'
'中文'

'中文'
b'\xe4\xb8\xad\xe6\x96\x87'
"""

下面是我使用json.dump()的解决方案：

1
2
3

def jsonWrite(p, pyobj, ensure_ascii=False, encoding=SYSTEM_ENCODING, **kwargs):
with codecs.open(p, 'wb', 'utf_8') as fileobj:
json.dump(pyobj, fileobj, ensure_ascii=ensure_ascii,encoding=encoding, **kwargs)

其中系统编码设置为：

1 2	locale.setlocale(locale.LC_ALL, '') SYSTEM_ENCODING = locale.getlocale()[1]

如果可能，使用编解码器，

1 2	with codecs.open('file_path', 'a+', 'utf-8') as fp: fp.write(json.dumps(res, ensure_ascii=False))

从python 3.7开始，以下代码工作正常：

1
2
3
4

from json import dumps
result = {"symbol":"?"}
json_string = dumps(result, sort_keys=True, indent=2, ensure_ascii=False)
print(json_string)

输出：

1	{"symbol":"?"}

相关讨论

正如Martijn指出的，在json.dumps中使用secure_ASCII=false是解决这个问题的正确方向。但是，这可能会引发一个例外：

1	UnicodeDecodeError: 'ascii' codec can't decode byte 0xe7 in position 1: ordinal not in range(128)

您需要在site.py或sitecustomize.py中进行额外设置，才能将sys.getdefaultencoding()设置为正确的。site.py在lib/python2.7/下，sitecustomize.py在lib/python2.7/site-packages下。

如果要使用site.py，请在def setencoding()下：将第一个if 0:更改为if 1:以便python使用操作系统的区域设置。

如果您喜欢使用SiteCustomize.py，如果您没有创建它，那么它可能不存在。简单地写下这些行：

1
2
3

import sys
reload(sys)
sys.setdefaultencoding('utf-8')

然后，您可以使用utf-8格式执行一些中文JSON输出，例如：

1 2	name = {"last_name": u"王"} json.dumps(name, ensure_ascii=False)

您将得到一个UTF-8编码的字符串，而不是u转义的JSON字符串。

要验证默认编码：

1	print sys.getdefaultencoding()

您应该得到"utf-8"或"utf-8"来验证您的site.py或sitecustomize.py设置。

请注意，不能在交互式Python控制台上执行sys.setdefaultencoding("utf-8")。

相关讨论