urllib：獲取utf-8編碼的網站源代碼

Question

我試圖抓取一些網站的一部分。該腳本有效，但它是一個有á，é，í，ó，ú等口音的網站。

當我使用urllib或urllib2獲取網站時，網站源代碼不是用utf-8編碼的，我希望它是utf-8支持這些重音符號。

我相信目標網站是UTF-8，因爲它包含了以下meta標籤編碼：

<meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> 

我的Python腳本：看起來

opener = urllib2.build_opener() 
opener.addheaders = [('Accept-Charset', 'utf-8')] 
url_response = opener.open(url) 
deal_html = url_response.read().decode('utf-8') 

不過，我不斷收到結果就像他們沒有編碼un utf-8一樣。

E.g： 「米蘭」 的網站= 「軍用\ xe1n」 後的urllib2獲取它

有什麼建議？

Answer 1

您的腳本工作正常。 "\xe1"字符串是解碼產生的unicode對象的表示形式。例如：

>>> "Mil\xc3\xa1n".decode('utf-8') 
u'Mil\xe1n' 

的"\xc3\xa1"序列是福斯產品帶有音調符號標記的UTF-8序列：a。