如何知道傳入的請求是否來自搜索引擎機器人？

Question

有誰知道如何檢測傳入請求是否來自搜索引擎機器人？ HTML標頭是否包含任何特定的信息？

Answer 1

您通常可以在HTTP標頭中使用IP和用戶代理的組合來找出它。這裏有一篇關於它的文章：http://www.jafsoft.com/searchengines/spider_hunting.html

Answer 2

您可以使用jQuery從請求中檢查用戶代理。

您可以通過$ .browser

獲取此信息：請記住，雖然，這是很容易僞造。

Answer 3

HTTP請求有一個名爲'user agent'的字段。此字段指定請求是來自Mozilla或Internet Explorer還是某個搜索引擎機器人。 Java，PHP每個都有自己的命令來讀取這個用戶代理字段。