Scrapy在抓取下一個URL之前完成重定向

每當Scrapy獲取302時，該操作都會添加爲隊列中的最後一個項目。有沒有辦法強制Scrapy完成重定向，然後處理下一個url？Scrapy在抓取下一個URL之前完成重定向

2017-08-01 Mark

你可以試着加大['REDIRECT_PRIORITY_ADJUST']（https://doc.scrapy.org/en/latest/ topics/settings.html＃redirect-priority-adjust）值來查看是否有幫助？ –

正如Tomáš在評論REDIRECT_PRIORITY_ADJUST中所述，控制重定向優先級。

但是，由於此設置默認設置爲+2，所以您不能使用默認scrapy設置描述。默認情況下，所有scrapy請求的排定時間爲0，因此所有重定向的請求應優先於其他請求。

您可以使用priority參數安排個別請求優先級。
例如，如果你想在100設置優先級，你會這樣寫：

yield Request("http://someurl.com", priority=100)

2017-08-01 13:02:32 Granitosaurus

回答