Python urllib3和代理

Question

我想弄清楚如何使用代理和多線程。

此代碼：

requester = urllib3.PoolManager(maxsize = 10, headers = self.headers) 
thread_pool = workerpool.WorkerPool() 

thread_pool.map(grab_wrapper, [item['link'] for item in products]) 

thread_pool.shutdown() 
thread_pool.wait() 

在 grab_wrapper

requested_page = requester.request('GET', url, assert_same_host = False, headers = self.headers) 

頁眉包括

然後：接受，接收字符集，接受編碼，接受語言和用戶代理

但是這在生產中不起作用，因爲它必須通過代理，不需要授權。

我嘗試了不同的事情（通過proxies請求，在標題等）。唯一可行的事情是這樣的：

requester = urllib3.proxy_from_url(self._PROXY_URL, maxsize = 7, headers = self.headers) 
thread_pool = workerpool.WorkerPool(size = 10) 

thread_pool.map(grab_wrapper, [item['link'] for item in products]) 

thread_pool.shutdown() 
thread_pool.wait() 

現在，當我運行該程序，就會使10個請求（10個線程），然後...停止。沒有錯誤，沒有任何警告。這是我可以繞過代理服務器的唯一方式，但它似乎不可能同時使用proxy_from_url和WorkerPool。

任何想法如何將這兩個結合到一個工作代碼？我寧願避免它改寫成零碎等由於時間限制

問候

Answer 1

似乎你放棄呼叫的結果thread_pool.map() 嘗試將其分配給一個變量：

requester = urllib3.proxy_from_url(PROXY, maxsize=7) 
thread_pool = workerpool.WorkerPool(size=10) 


def grab_wrapper(url): 
    return requester.request('GET', url) 


results = thread_pool.map(grab_wrapper, LINKS) 

thread_pool.shutdown() 
thread_pool.wait() 

注： 如果您使用的是蟒蛇3.2或更高版本可以使用concurrent.futures.ThreadPoolExecutor。這是類似於workerpool的報價，但包含在標準庫中。

Answer 2

首先我建議避免的urllib瘟疫一樣，而使用的要求，這對代理很容易支持：http://docs.python-requests.org/en/latest/user/advanced/#proxies
除此之外，我沒有使用它與多線程，但與多處理，並且工作得很好，你唯一需要弄清楚的是你是否有一個動態隊列或一個相當固定的列表，你可以分散在工人身上，後者的一個例子是在x個工序上均勻分佈一個網址列表：

# *** prepare multi processing 
nr_processes = 4 
chunksize = int(math.ceil(total_nr_urls/float(nr_processes))) 
procs = [] 
# *** start up processes 
for i in range(nr_processes): 
    start_row = chunksize * i 
    end_row = min(chunksize * (i + 1), total_nr_store) 
    p = multiprocessing.Process(
      target=url_loop, 
      args=(start_row, end_row, str(i), job_id_input)) 
    procs.append(p) 
    p.start() 
# *** Wait for all worker processes to finish 
for p in procs: 
    p.join() 

每個url_loop進程都會將自己的一組數據寫入數據庫中的表中，因此我不必擔心在python中將它們連接在一起。

編輯：在進程間共享數據 - > 有關詳細信息，請參閱：http://docs.python.org/2/library/multiprocessing.html?highlight=multiprocessing#multiprocessing

from multiprocessing import Process, Value, Array 

def f(n, a): 
    n.value = 3.1415927 
    for i in range(len(a)): 
     a[i] = -a[i] 

if __name__ == '__main__': 
    num = Value('d', 0.0) 
    arr = Array('i', range(10)) 

    p = Process(target=f, args=(num, arr)) 
    p.start() 
    p.join() 

    print num.value 
    print arr[:] 

但正如你看到的，基本上這些特殊類型（價值&陣列）使進程之間的數據共享。 如果您尋找一個隊列來執行類似roundrobin的進程，則可以使用JoinableQueue。 希望這有助於！