網站/ webURL如何通過網絡爬蟲和機器人停止訪問？

Question

我有一個網站，很多時候這個網站是由網絡爬蟲機器人訪問。我想擺脫它。 Plz建議我可能的解決方案，以避免我的網站被機器人訪問。

在此先感謝！

Answer 1

如果您的網站是公開的，您的選擇是有限的。這裏有幾點建議：

• 最明顯的是：密碼保護您的網站。這可能不是最實用的公共場所，但保證工作。
• 爲您的網站定義robots.txt規則。爬行者沒有義務遵守這些規則，但友好的（希望他們大多數）通常會遵守robots.txt。
• 如果這些機器人因爲他們對你的網站不夠好而感到不快（比如打得太快），還可以選擇檢測並阻止他們的IP。只有當他們不從一個不同的IP地址爬行時，這纔會起作用。
• 希望網絡爬蟲機器人通過不同的HTTP請求User-Agent值正確識別您的網站。您可以阻止您的網頁尋找不需要的用戶代理。 robots.txt可以做到這一點，但在這裏我正在討論讓Web服務器檢測到它，而不是渲染頁面或返回錯誤。

你沒有說你爲什麼想阻止它們。答案可能會影響你採取的方法。例如，如果您想將敏感數據保存到選定的一組人羣中，那麼密碼保護可能是最好的方法，而不是試圖永遠追捕機器人。如果這是網站性能問題，請考慮爲您的網站設置更強大的主機。希望有一個或上述建議的組合能爲你做好這項工作。