0
我的網站上有一個爬蟲程序，它不識別爲用戶代理中的機器人。我應該阻止這個IP範圍嗎？
的IP地址之一是：
131.161.8.197
所有機器人都屬於在131.161的IP範圍。
顯然它是基於ipwhois的「巴西百度」。
我應該繼續並阻止整個範圍的ips嗎？
A
回答
1
所以它來自巴西，問題的確是..你需要瞄準巴西地區嗎？
阻止抓取工具意味着您的流量處理量會減少，所以我個人會說要阻止它。
您可以使用您的robots.txt或通過服務器端進行。很明顯，你可以使用：
Order Deny,Allow
Deny from 131.161.8.197
或：
User-agent: Baiduspider
User-agent: Baiduspider-video
User-agent: Baiduspider-image
Disallow:/
相關問題
- 1. 如何使用.htaccess阻止IP範圍
- 2. 在htaccess文件中阻止IP範圍
- 3. 我應該穿這個嗎？
- 4. 節點 - 解析AWS的IP範圍，並阻止
- 5. 如何使用http模塊阻止ip範圍？
- 6. 阻止IP範圍和使用htaccess文件
- 7. 我應該圍繞這個實體構建一個包裝嗎？
- 8. Python IP範圍到IP範圍匹配
- 9. 爲什麼這不在範圍內？爲什麼嚴格使用這個阻止？
- 10. 我應該阻止未來 - 斯卡拉
- 11. 我應該寫這個版本嗎？
- 12. C＃可變範圍阻止我在我的軌道上
- 13. 測試完成後，我應該在範圍上調用$ destroy嗎？
- 14. 我該如何阻止這個整數溢出？
- 15. 阻止IP重定向到我的阻止頁面
- 16. IP pinging的範圍
- 17. python和ip範圍？
- 18. Python binascii.unhexlify正在轉換換行符。我能阻止這個嗎？
- 19. 我應該在這種情況下進行規範化嗎？
- 20. 阻止的應用腳本插件由於範圍
- 21. 格式化單元格會阻止我粘貼範圍
- 22. 我可以阻止一個按鈕嗎？
- 23. Google地圖阻止我嗎？
- 24. IP範圍從和IP範圍到 - 動態文本框
- 25. 驗證用戶IP和表格IP：我應該使用ip2long嗎？
- 26. Firebug - 將設置應用到IP範圍
- 27. 這是我應該停止Java中的線程的方式嗎？
- 28. 這應該在模型中嗎？如果是這樣，我該如何寫這個？
- 29. Elasticsearch不止一個範圍
- 30. 阻止一個IP的網站連接
是的，你可以阻止它 – anubhava