处理python unicode字符串中错误编码的字符

Handle wrongly encoded character in Python unicode string

我正在处理由python lastfm库返回的unicode字符串。

我假设在途中的某个地方，库会错误地进行编码，并返回一个可能包含无效字符的Unicode字符串。

例如，我在变量A中期望的原始字符串是"gl_ck"

1
2
3
4
5
6

>>> a
u'Gl\xfcck'
>>> print a
Traceback (most recent call last):
File"", line 1, in
UnicodeEncodeError: 'ascii' codec can't encode character u'\xfc' in position 2: ordinal not in range(128)

xfc是转义值252，对应于"_"的Latin1编码。以某种方式，它嵌入到unicode字符串中，而python无法单独处理。

如何将其转换回包含原始"gl_ck"的普通或Unicode字符串？我尝试使用decode/encode方法，但要么得到一个unicodeencode错误，要么得到一个包含序列xfc的字符串。

相关讨论

必须使用某种编码将Unicode字符串转换为标准字符串，例如utf-8：

1	some_unicode_string.encode('utf-8')

除此之外：这是对

具有class属性的beautifulsoup findall-Unicode编码错误

以及至少十个相关问题。首先研究。

您的Unicode字符串正常：

1 2	>>> unicodedata.name(u"\xfc") 'LATIN SMALL LETTER U WITH DIAERESIS'

您在交互提示中看到的问题是，解释器不知道使用什么编码将字符串输出到终端，因此它返回到"ascii"编解码器——但该编解码器只知道如何处理ascii字符。它在我的机器上运行良好(因为sys.stdout.encoding对我来说是"utf-8"--可能是因为类似我的环境变量设置与您的不同)

1 2	>>> print u'Gl\xfcck' Glück