Python 3＆BeautifulSoup問題 - [解碼錯誤 - 輸出不是utf-8]

Question

我正面臨着美麗的一些問題。

我想看過一些網站的標題，當我的代碼試圖讀取一些網站，包含與拉美本地字符的頭銜，我得到這個錯誤：

[Decode error - output not utf-8]

是否有人知道如何解決這個問題？

乾杯。

我的代碼：

def getTitle(theList): 

for element in theList: 

    response = urllib.request.urlopen(element) 
    soup = BeautifulSoup(response.read()) 
    title = soup.find("title").text 
    print (element,": ",title,"\n") 

Answer 1

嘗試：How to correctly parse UTF-8 encoded HTML to Unicode strings with BeautifulSoup?

這表明soup = BeautifulSoup(response.read().decode('utf-8', 'ignore'))

Answer 2

如果錯誤是由於inconsitent encodings即HTML大多是UTF-8（以及BeautifulSoup檢測爲這樣），但一些字符（最顯着的是：微軟智能報價）使用不同的編碼;嘗試使用UnicodeDammit.detwingle()方法使文檔成爲純UTF-8而不丟棄可挽救的不正確字符。