scrapy允許所有域名

Question

我看到this發佈，使scrapy抓取任何網站沒有允許的域名限制。

是否有這樣做的，如使用允許域變量的正則表達式沒有更好的辦法，喜歡 -

allowed_domains = ["*"] 

我希望有一些其他的方式比侵入scrapy框架來做到這一點。

Answer 1

根本不設置allowed_domains。

一下這篇scrapy文件get_host_regex（）函數：

https://github.com/scrapy/scrapy/blob/master/scrapy/contrib/spidermiddleware/offsite.py

Answer 2

你應該diactivate異地middlware這是一個內置的蜘蛛中間件scrapy。 欲瞭解更多信息http://doc.scrapy.org/en/latest/topics/spider-middleware.html