每天訪問網頁的機器人或蜘蛛的平均數量是多少？

Question

我試圖粗略地估計我的頁面瀏覽量有多少來自機器人。對於平均搜索引擎優化的網頁來說，殭屍和搜索蜘蛛所佔的瀏覽頁面數量通常是多少？

Answer 1

有沒有簡單的答案，因爲機器人的數量真的取決於你的網站是多麼廣泛暴露。 Google會根據鏈接到您的網頁的數量來抓取它，而且越多越好。

對於一個合理可見的網站，我期望從10到15個抓取工具的任何地方，每個爬行工具每個月，最多每週抓取您的網站。