機器人的用戶代理在其中始終有「http」嗎？

假設所有機器人的用戶代理始終在用戶代理字符串中包含URL，是否安全？當然，我會將用戶代理與機器人列表進行比較，但是這裏的想法是在對長列表進行檢查之前進行初步檢查。機器人的用戶代理在其中始終有「http」嗎？

也許如果我能更好地重新說明我的問題，是否有任何有效的非機器人，非爬蟲，非蜘蛛或任何非骯髒的生物，在用戶代理中有一個URL？

2010-11-02 user173457

你真的想在這個假設下工作嗎？ – skaffman 2010-11-02 20:40:30

你想做什麼？ – 2010-11-02 20:47:30

@Pekka：我想過濾機器人/蜘蛛的訪問。 – user173457 2010-11-02 20:55:31

假設所有機器人的用戶代理始終在用戶代理字符串中包含URL，是否安全？

都能跟得上。看看this bot list，它有很多機器人沒有網址。

也許如果我可以更好地說出我的問題，是否有任何有效的非機器人，非爬蟲，非蜘蛛或任何非骯髒的生物，在用戶代理中有一個URL？

我想不出在代理字符串中包含URL的瀏覽器，但這絕對是一個危險的假設。請記住，例如，Internet Explorer附件可以將其簽名添加到瀏覽器的用戶代理字符串中。您無法保證其中不會有網址。

2010-11-02 20:45:38

+1用於提及修改用戶代理字符串的加載項。 – 2010-11-02 20:57:10

沒有關於用戶代理字符串的假設。 RFC 1945的第10.15 User Agent部分指定了格式，而部分3.7 Product Token指定了產品令牌應如何格式化。正如你可以從這兩個中看到的，用戶代理字符串幾乎可以是HTTP代理希望的任何東西。

注：嚴格來說，使用產品令牌的URL可以被視爲違規RFC的，因爲/應該作爲產品標識和產品版本之間的隔離治療。

2010-11-02 20:54:53

對於硬核RFC。 – 2010-11-02 20:57:34

+1「沒有關於用戶代理字符串的假設」。 – meagar 2010-11-02 21:01:18

回答