解碼/編碼字符串，submiting 'Šiven'，但得到 '\ xa6iven'

我運行Ubuntu 10.04 LTS，Python的2.6.5（R265：79063，2010年4月16日，13時09分56秒）解碼/編碼字符串，submiting 'Šiven'，但得到 ' xa6iven'

>>> m = 'Šiven' 
>>> m 
'\xa6iven' 
>>> unicode(m) 
Traceback (most recent call last): 
File "<stdin>", line 1, in <module> 
UnicodeDecodeError: 'ascii' codec can't decode byte 0xa6 in position 0: ordinal not in range(128)

我應該如何正確地設置它（編碼，解碼），以便它能夠正確地寫入它所讀取的內容？

來源

2012-03-03 Kristian

在Python 2.x中，單引號表示一個字符串字節，而不是字符。你想要一個字符串，這是在2.x的前綴u：

>>> m = u'Šiven' 
>>> print(m) 
Šiven 
>>> m.encode('utf-8') # Get the corresponding UTF-8 bytestring 
'\xc5\xa0iven'

請注意，如果你的終端編碼平臺的編碼匹配這僅適用。你應該真的只是設置爲UTF-8。

如果不是的話，你應該使用Unicode轉義：

>>> m = u'\u0160iven' 
>>> print(m) 
Šiven 
>>> m.encode('utf-8') 
'\xc5\xa0iven'

在Python文件（不是終端），您可以根據PEP 263設置編碼通過啓動像這樣的文件：

# -*- coding: utf-8 -*-

您可能還想使用Python 3.x，它清除了字節和字符串之間的混淆。

來源

2012-03-03 11:46:45 phihag

m是從這樣的somehing M = file.readlines（）...爲m在M：...我怎麼能說在這裏：m =u'Šiven'？ – Kristian 2012-03-03 14:06:29

你不需要那裏的'readlines'，你可以迭代文件（這會減少內存需求）。你應該真的諮詢[其他]（http://stackoverflow.com/questions/491921/unicode-utf8-reading-and-writing-to-files-in-python）[問題]（http://stackoverflow.com/問題/ 147741 /從python中讀取文件），或者，如果這些問題（以及您搜索的問題）和他們的最佳答案無法解決您的問題，請自己提出一個新問題。總之，使用['codecs.open']（http://docs.python.org/library/codecs.html#codecs.open）。 – phihag 2012-03-03 14:12:58

你也許應該將# -*- coding: utf-8 -*-和使用編輯器和其他一切在UTF-8模式無論如何要避免這些問題，但如果你想找出哪些編碼最適合您的電流輸入，你可以試試這個腳本（更換'some string'與更多的東西本地化）：

encodings = ['ascii', 'cp037', 'cp424', 'cp437', 'cp500', 'cp720', 'cp737', 'cp775', 'cp850', 'cp852', 'cp855', 'cp856', 'cp857', 'cp858', 'cp860', 'cp861', 'cp862', 'cp863', 'cp864', 'cp865', 'cp866', 'cp869', 'cp874', 'cp875', 'cp932', 'cp949', 'cp950', 'cp1006', 'cp1026', 'cp1140', 'cp1250', 'cp1251', 'cp1252', 'cp1253', 'cp1254', 'cp1255', 'cp1256', 'cp1257', 'cp1258', 'latin_1', 'iso8859_2', 'iso8859_3', 'iso8859_4', 'iso8859_5', 'iso8859_6', 'iso8859_7', 'iso8859_8', 'iso8859_9', 'iso8859_10', 'iso8859_13', 'iso8859_14', 'iso8859_15', 'iso8859_16', 'johab', 'koi8_r', 'koi8_u', 'mac_cyrillic', 'mac_greek', 'mac_iceland', 'mac_latin2', 'mac_roman', 'mac_turkish', 'ptcp154', 'utf_32', 'utf_32_be', 'utf_32_le', 'utf_16', 'utf_16_be', 'utf_16_le', 'utf_7', 'utf_8', 'utf_8_sig'] 

def test(s): 
    for enc in encodings: 
     try: 
      u = unicode(s, enc) 
      print u, enc 
     except: pass 

test('some string')

話雖這麼說，UTF-8是你的朋友;用它。 :)

來源

2012-03-03 12:11:35 Frg

我有文件包含在utf-8中的字符串，也是python腳本，控制檯... – Kristian 2012-03-03 18:37:11

解碼/編碼字符串，submiting 'Šiven'，但得到 '\ xa6iven'

回答

相關問題