2013-03-27 54 views
0

我目前正在構建一個網絡爬蟲,並且希望根據請求添加延遲,因此我不打網絡服務器。在C中添加延遲的最佳方式

什麼是最適合添加此延遲的方法?

此外,爬行器的延遲適量是多少?我在想.5-1秒。

感謝

+0

@CongLe怎麼和這個問題有關?規則不是絕對的,有些問題不需要任何代碼。 – 2013-03-27 16:38:43

回答

7

您可以使用

Thread.Sleep(TimeSpan.FromSeconds(1)) 

搜索引擎可以使用較大的10-15甚至60秒延遲。禮貌的抓取者會尊重該網站在robots.txt中提供的「抓取延遲」。詳情請看http://en.wikipedia.org/wiki/Web_crawler#Politeness_policy

+0

簡短而甜美。我喜歡它:) – feralin 2013-03-27 16:37:09

+1

'Thread.Sleep(TimeSpan.FromSeconds(1));'會是奇妙的 – 2013-03-27 16:38:12