搜索引擎的典型爬取深度

當某個網站被搜索引擎（google，bing等）抓取時，搜索引擎將爬到網站的典型最大深度是多少。深度來說，我的意思是來自主頁的跳數。搜索引擎的典型爬取深度

感謝，

2012-07-13 Ali Salehi

這要看你的網站的整體排名和導入鏈接的排名，特別是如果他們沒有在您的主頁指向。

像blekko這樣的小型搜索引擎的爬蟲不會遠離外部鏈接的着陸點，除非你的整體網站很棒或者你有很多來自真棒網站的鏈接。我們爲更高級別的內容節省了我們的抓取和索引能力，因此如果我們估計頁面的排名不佳，我們就不會打擾。

即使您的鏈接配置文件只有較差的鏈接，Google的抓取工具也可能抓取相當長的一段距離 - 但即使他們知道的URL大約比實際抓取的網址多10倍。

2012-07-13 22:19:18

如果你想抓取整個世界，然後19深度就夠了。因爲全球覆蓋了19個深度。但是如果你想抓取一個特定的領域或國家，那麼深度就足夠了。

我發現這篇文章的信息。這是用來開發墨卡託。

感謝 Mohiul阿拉姆王子

2012-07-18 10:19:37

問道，「怎麼做深各大搜索引擎抓取實際？」，而不是問題「有多深，有必要爬到找到所有網頁？」這是一個有趣的說法，即需要深入10層;您提到的論文鏈接會很有幫助。 – 2012-07-18 13:42:58

回答