如何使用Scrapy設置proxymesh？

Question

我有一些Scrapy代碼，我想開始使用proxymesh。該proxymesh documentation隱晦地說：

對於scrapy爬行框架，你必須設置HTTP_PROXY 環境變量[...]然後activate的HttpProxyMiddleware。

我明白如何設置http_proxy環境變量，但是如何「激活HttpProxyMiddleware」在文檔中並不完全明顯。我想我需要以下添加到settings.py在我的Scrapy項目：

DOWNLOADER_MIDDLEWARES = { 
    'myproject.middleware.ProxyMeshMiddleware': 100, 
} 

但後來我相信我還需要添加一些實際的中間件代碼，大概在middleware.py文件？

我發現this gist，所以我想我可以複製並粘貼到middleware.py，但我不確定它是否準確。它似乎使用了proxymesh文檔中推薦的不同環境變量。

Answer 1

要旨你是指讀取操作系統環境變量ProxyMesh設置，基本Scrapy的，否則它是稍微修改代碼HttpProxyMiddleware和應該效果很好。

你也可以看看我的非常簡單的實現Proxymesh中間件https://github.com/mizhgun/scrapy-proxymesh支持代理輪換（如果你有ProxyMesh計劃與多個端點）和可定製的超時。