Python urllib3太多重定向

Question

我現在學習Python，我想創建一個簡單的工具來打開幾個網站。我有下面的代碼：

#!/usr/bin/python 
import urllib3, ssl, certifi 
from urllib3 import Retry, Timeout 

def openurl(url, method = "get"): 
    retries = Retry(connect=500, read=2, redirect=500) 
    http = urllib3.PoolManager(
     cert_reqs = 'CERT_REQUIRED', 
     ca_certs = certifi.where(), 
     retries = retries 
    ) 
    con = urllib3.connection_from_url(url) 
    r = con.request(method, '/trades'); 

openurl("http://www.steamgifts.com") 

但在這個網站腳本返回Caused by ResponseError('too many redirects',)

我嘗試Retry(connect=500, read=2, redirect=500)解決這個問題，但我沒有看到變化。

Answer 1

該網站阻止了一些用戶代理。你可以假裝成爲一個真正的網頁瀏覽器，而不是一個鬼鬼祟祟的黑客，通過設置你自己的HTTP請求頭。我對urllib3不熟悉，但使用requests非常簡單。

>>> requests.get('http://www.steamgifts.com/trades') 
<Response [403]> 

>>> requests.get('http://www.steamgifts.com/trades', 
    headers={'User-Agent': 'internet explorer or something'}) 
<Response [200]>