2017-10-04 48 views
0

我需要使用不同的代理來避免被禁止。如何在Scrapy中使用帶密碼的PROXY_LIST?

我讀this questionthis one

我把我的代理人在proxylist.txt

http://xx.xx.xxx.xxx:port 
http://xxx.xxx.xx.xxx:port 
http://xx.xx.xxx.xxx:port 
http://xxx.xxx.xx.xxx:port 

,我把它在custom_settings

class MyClass(scrapy.Spider): 
    reload(sys) 
    sys.setdefaultencoding('utf8') 
    start_time = time.time() 
    name = 'mySpider' 
    custom_settings = { 
     'ROBOTSTXT_OBEY' : 'False', 
     'RETRY_TIMES'  : 10, 
     'PROXY_LIST'  : 'proxylist.txt', 
     'PROXY_MODE'  : 0, 
     'DOWNLOADER_MIDDLEWARES' : { 
      'scrapy.downloadermiddlewares.retry.RetryMiddleware': 90, 
      'scrapy_proxies.RandomProxy': 100, 
      'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110, 
      'scrapy_crawlera.CrawleraMiddleware': 600, 
      'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None, 
      'random_useragent.RandomUserAgentMiddleware': 400 
     }, 
    } 

這個版本工作當我的代理沒有密碼

現在我有每個代理服務器的密碼,我如何將它更改爲工作使用密碼

回答