在Python的urllib2中檢測超時錯誤urlopen

Question

我還是比較新的Python，所以如果這是一個明顯的問題，我很抱歉。

我的問題是關於urllib2庫，它是urlopen函數。目前我正在使用它從另一臺服務器加載大量頁面（它們都在同一個遠程主機上），但是腳本每隔不久就會被一個超時錯誤（我認爲這是來自大量請求）終止。

有沒有辦法在超時後繼續運行腳本？我希望能夠獲取所有的頁面，所以我想要一個腳本，它會一直試圖獲取頁面，然後繼續前進。

請注意，會保持連接打開服務器的幫助嗎？

Answer 1

下次發生錯誤時，請記下錯誤消息。最後一行會告訴你異常的類型。例如，它可能是urllib2.HTTPError。一旦您知道引發的異常類型，您可以在try...except區塊中找到它。例如：

import urllib2 
import time 

for url in urls: 
    while True: 
     try: 
      sock=urllib2.urlopen(url) 
     except (urllib2.HTTPError, urllib2.URLError) as err: 
      # You may want to count how many times you reach here and 
      # do something smarter if you fail too many times. 
      # If a site is down, pestering it every 10 seconds may not 
      # be very fruitful or polite. 
      time.sleep(10) 
     else:    
      # Success 
      contents=sock.read() 
      # process contents 
      break    # break out of the while loop 

Answer 2

The missing manual of urllib2可以幫助你