如何在scrapy中的每個請求之間給出延遲？

我不想同時抓取並阻止。我想每秒發送一個請求。如何在scrapy中的每個請求之間給出延遲？

2012-01-07 nizam.sp

[這裏]（HTTP：//計算器。com/questions/30404364/scrapy-delay-request）你有一個明確的解決方案。 – hereje 2016-06-15 17:56:19

沒有爲一個setting：

DOWNLOAD_DELAY

默認：0

的時間（以秒爲單位）的下載應該等待從同一下載連續頁面之前量網站。這可以用來限制爬網速度，以避免太大的打擊服務器。

DOWNLOAD_DELAY = 0.25 # 250 ms of delay

2012-01-07 20:41:16 warvariuc

謝謝。它工作:) – 2012-01-08 06:40:12

如果你把'DOWNLOAD_DELAY = 1'，我認爲你不能在一分鐘內得到60頁。它也受下載速度和各種開銷的限制。我會說它只會給你一個上限，所以你不會打太多的目標網站。 – 2014-08-27 18:46:40

您還可以設置「download_delay」蜘蛛屬性，如果你不希望有一個全球的下載延遲。見http://doc.scrapy.org/en/latest/faq.html#what-does-the-response-status-code-999-means

2013-06-03 12:28:00

class S(Spider): 
    rate = 1 

    def __init__(self): 
     self.download_delay = 1/float(self.rate)

率設置頁面的最大量可以在一秒鐘內下載。

2014-08-20 03:20:28

你可以添加一個描述或者說一些解釋。按照現狀，我必須爲刪除投票。 – Numeron 2014-08-20 03:48:01

延遲可我們在第2集說： -

我們可以同時運行履帶指定的延遲。例如， scrapy抓取樣品--set DOWNLOAD_DELAY = 3（這意味着兩個請求之間3秒的延遲）

或者我們可以在settings.py Globaly指定默認scrapy DOWNLOAD_DELAY = 3

需要在0.25秒的延遲2個請求。

2015-10-14 04:17:31

如果你想保持下載延遲一秒鐘，設置DOWNLOAD_DELAY=1是做到這一點的方法。

但scrapy還具有自動設置下載延遲AutoThrottle的功能。它會根據Scrapy服務器和您正在爬取的網站的負載自動設置延遲。這比設置任意延遲更好。

閱讀進一步瞭解這個上http://doc.scrapy.org/en/1.0/topics/autothrottle.html#autothrottle-extension
我爬100多個域名，而不是被封閉自動油門開啓

2015-10-14 14:34:25

除了DOWNLOAD_DELAY，您還可以使用scrapy的自動油門功能， https://doc.scrapy.org/en/latest/topics/autothrottle.html

它根據設置文件更改請求之間的延遲量。如果您爲啓動延遲和最大延遲設置1，則每次請求都會等待1秒。

它的原始目的是改變延遲時間，所以你的機器人的檢測會更困難。

你只需要設置在settings.py如下：

AUTOTHROTTLE_ENABLED = True 
AUTOTHROTTLE_START_DELAY = 1 
AUTOTHROTTLE_MAX_DELAY = 3

2017-01-19 13:39:45

回答